Manacá-1B-Instruct-2 の DPO 3 試行は全失敗。安全は SFT で達成
この記事のポイント
- DPO3回とも失敗。LLM判定も一部で無応答
- 安全SFTで3回改訂し、一般データ比率をスキャン
- 安全が他モデルを上回る。ただし一般能力は前訓練規模依存
数字で見る
この記事に出てくる数字
| パラメータ数 | 1.72B |
|---|---|
| SFTデータ数 | 291,223 |
| 安全スコア下限 | 94.1% |
どこで使えるか
安全微調整の失敗パターンやLLM判定の盲点を検証したい人向け。再現性のある研究手法を参照できる コード・データ・ログを公開済み 生成には全コード・ログ・スクリプトが必要
スポンサーリンク
解説
かみくだいて説明します
Bruno Leonardo Santos Menezesらの研究チームが、ブラジルポルトガル語に特化した人工知能モデル、Manacá-1B-Instruct-2の安全性調整について報告しました。1.72Bのパラメータを持つこのモデルは、291,223件のデータで訓練され、安全性のテストで94.1%以上の正解率を記録しています。
安全性のテストで94.1%以上というのは確かに高い数字ですね。では、この安全性をどうやって引き上げたんですか?
従来のDPOという手法を3回試したのですが、すべて失敗に終わりました。DPOは正解と不正解の差を数値で評価して調整する仕組みですが、reward marginが1.0に達したのに実際の出力が全く変わらない現象も起きました。結局、LLM-jp AnswerCarefullyというスタイルの安全性専用データで3回繰り返して調整した結果、安全性と回答の質のバランスが取れるところまで到達したといいます。
なるほど、DPOは使えなかったんですね。では、安全性専用データを混ぜる割合を変えたとき、どこでバランスが崩れるんですか?
一般データの割合を10%から60%まで変えてテストしたところ、拒否する割合が一定ではなく、40%から50%のところで曲がることが分かっています。これを超えると拒否が多くなりすぎて、逆に有用な回答ができなくなる傾向が見られたといいます。
40%から50%が分水嶺なんですね。他のモデルとの比較はどうなったんですか?
外部のブラジルポルトガル語モデル4つと同じ問題で比較した結果、統計的な処理を施したうえで、このモデルの安全性の下限値がすべての比較対象の上限値を上回っていました。これにより、単なる偶然ではなく明確な差があるという結論に至ったといいます。
統計的に明確な差があるというのは信頼できますね。評価方法の方で、何か問題があったんですか?
人工知能同士で評価を行うLLM-judgeという仕組みで、6つの安全性テスト項目のうち2つで、答えが何であっても点数を付けずに無視する現象が起きていました。まるで採点者が特定の答案だけ返事を拒否するようなもので、過去の報告では実質的なテスト数が静かに減っていたことになります。
採点者が返事を拒否するなんて、確かにデータの信頼性に響きますね。では、一般能力の差はどう説明するんですか?
計算資源の割り当てを表すChinchilla-anchoredの分析表を提示したうえで、一般能力の差は調整手法の違いではなく、訓練にかけた計算量の規模の違いに起因すると結論づけています。Chinchilla-anchoredは、モデルの能力と計算量の関係を整理する基準表で、必要なリソースを事前に計算するものです。すべてのコードと生データ、ログを公開しているため、誰でも再現可能な形で結果が示されています。
再現可能で公開されているのは安心できますね。最後に、今後の展開はどうなるんですか?
安全性調整の失敗例を詳細に記録した点は研究コミュニティに参考价值が高いですが、より大規模なモデルへの拡張性については、そこはまだ分かっていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。