多科目対応のオンプレ RAG 教材「CourseChat」で使うモデルと構成を決める話

論文

多科目対応のオンプレ RAG 教材「CourseChat」で使うモデルと構成を決める話

スポンサーリンク

CourseChatは 12B モデルと 7B モデルで教室の速度を満たした。

この記事のポイント

  • キャンパス内AIチューターで学習効果は不明
  • CourseChatとして6コース対応のRAGチューターを開発
  • 12Bと7Bが速度をクリア。ただし学習効果は未確認

数字で見る

この記事に出てくる数字

問題数 435問
モジュール数 65

どこで使えるか

キャンパス内AIチューターを自前で組む人向け。速度を満たすモデル選定とRAG設計の指針になる arXivで論文公開済み コード公開の記載なし

スポンサーリンク

解説

かみくだいて説明します

Sidney Shapiro さんと Joshua Lindemann さんが発表した研究で、大学内のネットワークだけで動くビジネス科目の AI 家庭教師 CourseChat が報告されました。6 つの科目をそれぞれ独立した参照番号で管理し、校内のウェブゲートウェイの後ろに設置して学習管理システム Moodle に組み込む形で運用しています。
外部に出さない設計なんですね。データが校内に残るなら情報漏えいの心配は減りますね。作る側から見ると、クラウドと比べて動かすのに何が要るんですか?
専用サーバーを校内に並べて、FastAPI というサービス枠組み、ローカルのベクトルデータベース、それに Ollama というソフトウェアで動く大規模言語モデルを載せています。ベクトルデータベースは、教科書や学生の質問を数字の羅列に変えて保存し、似た内容を素早く引き出すための棚のようなものです。
数字の羅列で検索するんですね。では、モデルの大きさはどうなったんですか?
2 回の生成モデルの比較試験で、大きいモデルは教室の速度基準を満たせませんでした。12B モデルと 7B モデルが基準を通過し、最終的には 8B モデルを生産環境に残しています。複数の専門家が並んで判断する混合型モデルも一部の修正を改善しましたが、事実の誤りや話のつじつまが合わないエラーを新たに引き起こしたため、全体としての改善が確認できるまで見送りました。
8B が現行の主力になるんですか。では、学生の質問への対応はどう改善したんですか?
ソフトウェア側の修正で、前の話題を引き継いだ後の質問の解決率が上がりました。科目の範囲から外れないように制御も維持しています。65 個のモジュールにわたる 435 問の既製問題を用意しており、これらは実際の生成処理とは別に練習用として使えます。
既製の質問で練習しながら、本番は別のシステムで対応するんですね。研究する人から見ると、学習効果は測れたんですか?
学習効果そのものはまだ証明されていません。教員の評価、ピーク時の同時接続能力、そして全公開ゲートウェイでの完全な受け入れ試験が、別個に評価される必要があります。モデルの選択、証拠の選び方、提供の互換性、製品設計を一つの工学的判断として扱うべきだという指針は示せました。
効果の検証はこれからなんですね。最後に、このシステムは他の大学でもすぐ使えるんですか?
Moodleに埋め込んで使うことを想定していて、6つの講座が共通の基盤の上で動いています。
各校で調整が必要なんですね。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文