学習者の集中力をシミュレートして AI 家庭教師 を評価する手法、Qwen2.5 や GPT-4o を使った事前検証の話

論文

学習者の集中力をシミュレートして AI 家庭教師 を評価する手法、Qwen2.5 や GPT-4o を使った事前検証の話

スポンサーリンク

DAS2が、ゲームで正解率差0.20、ホイールスピンで0.18に縮小

この記事のポイント

  • DAS2は5つの学習者状態をモデル化する
  • 正解率差はgamingで0.54から0.20に縮小
  • 一致率は84%、ルール一致は同意ケースで81%

数字で見る

この記事に出てくる数字

学習者状態数 5状態
コーディング一致率 84%
gaming正解率差 0.54→0.20

どこで使えるか

AI家庭教師の離脱対応能力を評価したい人向け。シミュレーションで本番前の品質保証が可能 arXivで論文公開済み シミュレータのコード公開は記載なし

スポンサーリンク

解説

かみくだいて説明します

Xianghui Meng さんと Jionghao Lin さんが arXiv に発表した研究で、人工知能の家庭教師が生徒の集中力が切れたときにどう対応するかを、コンピューターで模擬する仕組み DAS2 を開発しました。5 つの集中状態を分け、5 つの人工知能家庭教師を評価した結果、相対的な順位は状態によって変わらなかった一方、絶対的な正答率は状態によって差が出たことが分かりました。
なるほど。5 つの集中状態というのは、具体的にはどのような違いを指すんですか。
はい。集中して問題を解いている状態、わざと簡単すぎる問題を連打してシステムをだまそうとする状態、全く分かっていないのに答えを適当に入力する状態、画面から離れて別のことをしている状態、それにこれらが混ざった状態の 5 つです。
なるほど。では、研究している人から見ると、これまで何ができていなかったんですか。
従来は生徒が集中している状態ばかりを想定していたため、集中力が切れたときの対応が不十分でした。この仕組みを使えば、集中力が切れた状態を意図的に作り出して、家庭教師がどれくらい適切に対応できているかを部署前にテストできます。
部署前のテストでどれくらい正確に模擬できるんですか。
100 件の指導記録を 2 人の専門家が独立して判定したところ、84% の一致率でした。その中で人工知能の判定と人間の判定が一致した割合は 81% でした。
81% ならかなり正確ですね。ただ、一致しなかった判定はどうなるんですか。
自動評価と人間の判断が完全に一致しない点は、この研究でも指摘されています。部署前のテスト結果をそのまま実際の授業に当てはめるのは難しく、手直しが必要な場面があるということです。
なるほど。では、AI を使う側として、家庭教師のモデルの中でどれが一番使いやすいんですか。
相対的な順位はどの集中状態でも変わらなかったため、特定のモデルが全体的に優れているとは言い難いです。ただ、モデルの作り方には違いがあります。一つはファインチューニングといって、家庭教師のモデルに多くの練習問題をあらかじめ学習させて専門知識を身につけさせる方法です。もう一つはプロンプトのみといって、学習をさせずに質問の出し方だけで指示を出す方法です。
専門用語が出てきましたが、そこがまだ掴めません。ファインチューニングとプロンプトのみを身近なものでたとえるとどうなりますか。
分かりました。ファインチューニングは、新人の教師を長期研修で鍛えるイメージです。プロンプトのみは、経験豊富なアドバイザーにその場の状況だけを伝えて助言を求めるイメージです。研修で鍛えた方は反応の速さが実際の生徒に近く、アドバイスだけを求めた方は生徒の状態の出し分けがはっきりしていました。
なるほど。では、AI を使う側として、どちらの作り方の方が実用に向いているんですか。
相対的な順位はどの集中状態でも変わらなかったため、作り方の違いだけで優劣は決められません。状態によって絶対的な性能が異なるため、使う場面に合わせて選ぶ必要があるということです。
なるほど。最後に、この仕組みの今後の展開はどうなりますか。
部署前の評価ツールとして実用化が進む見込みです。ただ、生徒の感情や学習進度をどこまで細かくモデルに組み込めるかは、そこはまだ分かっていません。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文