HypoRefinerが、人間の認知アルゴリズムの探索でモデルの適合度を確実に向上させた。
この記事のポイント
- 従来の手法は柔軟性に欠けた
- LLMで確率プログラムを改良
- 祖先モデルより適合が改善
どこで使えるか
認知モデル構築で人間の知見を活かしたい人向け。柔軟な改良と解釈可能性を両立 arXivで公開済み コードの公開は記載なし
スポンサーリンク
解説
かみくだいて説明します
Huiwen Alex Yang さんたち 3 人が arXiv に発表した研究です。人間が問題を解くときの考え方を人工知能で再現する手法を提案しました。従来の手法は専門知識を生かせますが柔軟性に欠け、大規模言語モデルを使う手法は柔軟ですが専門知識の役割が薄かったため、両方を組み合わせたシステムを作りました。
確かに両方のいいところを取り込む発想ですね。研究している人から見ると、専門家が作ったモデルと実際の行動のズレをどう見つけるんですか。
エージェントがモデルの出力と人間の答えを比べ、一致しない部分を探します。ここで言う確率プログラムというのは、天気予報で使う確率のようなものです。雨になる確率が 60 パーセントのように、ある行動を取る確率を数字で表したプログラムです。大規模言語モデルはこの確率の書き方を守りながら、コードの一部分だけを書き換えます。
確率を天気予報に例えると分かりやすいですね。では、作る人から見ると、この書き換え作業は全部人工知能に任せているんですか。
決められた範囲内での書き換えなので、人間の専門家が最初につくった枠組みは崩れません。エージェントが提案した修正は、確率推論の模块で再度計算され、構造が保たれているか確認されます。問題解決の課題で人間の行動を調べた結果、書き換えたモデルは元のモデルより当てはまりが一貫して向上し、繰り返し現れる特定の修正パターンが人間の行動のばらつきをよく捉えていました。
人間の行動のばらつきを捉えられるのは大きいですね。では、この仕組みは他の分野の課題でも使えますか。
この仕組みは問題解決の課題で検証し、修正が繰り返し現れて行動のばらつきを捉え、モデルの当てはまりも一貫して改善しました。
繰り返し現れる修正パターンというのは、具体的にはどのようなものなんですか。
人間の答えがモデルの予想から外れるとき、大規模言語モデルが同じ種類のコード修正を何度か試す中で、特に効果的な修正方法が数種類見つかりました。これらの修正は人間の思考の癖を反映している可能性が高く、モデルの精度を上げるだけでなく、人間の認知の仕組みを解明する手がかりにもなります。
認知の仕組みを解明する手がかりにもなるんですね。では、現場の研究者がこの手法を使うとき、何が準備できるんですか。
研究者が確率プログラムでモデルを記述し、大規模言語モデルが制約を守って改良する仕組みは、問題解決の多様な認知アルゴリズムを扱う枠組として応用できる見通しが立ちます。
枠組みとして応用できる見通しが立つのは心強いですね。最後に、今後の展開で特に注目する点はどこですか。
問題解決の課題以外でどれだけ当てはまりが向上するか、そして公開されていないコードやデータの扱いがどうなるかはそこはまだ分かっていません。専門知識と人工知能を組み合わせたモデル構築の新しい流れが、認知科学の現場にどう定着していくかを見守ります。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。