PythiaとOLMo 2の自己記述の由来を追跡し、証拠として認められる条件を示す話

論文

PythiaとOLMo 2の自己記述の由来を追跡し、証拠として認められる条件を示す話

スポンサーリンク

PythiaとOLMo 2の自己記述は、学習データとプロンプトの組み立て方から来ている。

この記事のポイント

  • 自己報告の根拠が不明だった
  • 66チェックポイントで追跡
  • 両方とも証拠にはならない

数字で見る

この記事に出てくる数字

チェックポイント数 66
継続生成数 約90,000
項目数 40

どこで使えるか

自己記述を証拠として扱いたい人向け。参照性と因果性を満たすか確認する arXivで公開済み PythiaとOLMo 2の学習過程を追跡

スポンサーリンク

解説

かみくだいて説明します

AIが自分の意識について語るとき、聞かれ方によって正反対の答えを出すんですよね?
確かにその通りです。質問のフレーミングやプロンプトの組み立て方次第で、モデルは自分自身を無意識だと言ったり人間のような日記を書いたりします。
私の授業でもプロンプトエンジニアリングを扱っていますが、なぜそう言っているのかの根本原因を調べていないですよね?
その通りです。要約では、自己記述の起源を最終段階まで追跡し、それが証拠となり得るかを検討しています。
arXivで公開された今回の論文では、PythiaとOLMo 2を66段階の事前学習チェックポイントと3段階の事後学習段階で追跡しています。
そのアプローチって、具体的にはどういう仕組みなんですか?
約90,000件のテキスト生成と4つの学習データセット、自己言及を追う40項目の指標を使って、発言の起源を最初から最後まで丹念に遡っています。水源から河口まで逆流して調べるような作業ですね。
学習の段階ごとに発言がどう変わっていくのか、確かにイメージできます!
事前学習初期では否定表現がほぼ見られず、後の例文データで密度濃く出現します。
私の疑問なんですが、具体的にどこがどう変わったんですか?
教師あり微調整で一人称表現がデフォルトになり、選好最適化で他の肯定表現が抑制されます。ベースモデルは参照条件を満たさず、学習済みモデルもフレーム依存と状態依存の欠如が確認されています。
結局、AIの自己報告は信用できないんですか?
対称性が成り立つため、学習済みの否定文も肯定文と同じく証拠として採用できないと結論づけています。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。最終的なポリシーはフレームやチャットテンプレートに敏感で、モデルが内省状態を安定して報告する仕組みにはなっておらず、実装面でも追加の検証レイヤーが必要になります。
実際の試し方についての質問? 自分たちで検証するときはどうすればいいんですか?
参照と因果の2条件を満たすかチェックし、異なるフレーミングでの出力変動を測定してみてください。
自己報告の根拠となるデータは66チェックポイントと9万の継続テキストから来ています。
自己報告の根拠には参照性と因果性が問われる。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文