知識習得モデルの判定基準はモデルごとに異なる。
この記事のポイント
- 同じ閾値がモデルで違う判断を生む
- 12閾値を6モデル4データで評価
- BKTは鈍感、ニューラルは敏感
数字で見る
この記事に出てくる数字
| KTモデル数 | 6 |
|---|---|
| 閾値範囲 | 0.50~0.99 |
| 先行学習差 | 3.26倍 |
どこで使えるか
知識習得モデルを選んでいる人向け。モデルごとの閾値を再調整する必要がある arXivで公開済み コード公開の記載なし
スポンサーリンク
解説
かみくだいて説明します
Xianghui Meng たちの研究チームが、学習支援システムで使う習熟度の判定基準について調べました。6 つの判定モデルと 4 つの公開データセットを使って、0.50 から 0.99 までの 12 段階の基準を評価した結果、モデルや指導の優先順位によって最適な基準が大きく変わるということです。
基準を上げれば上げるほど良いと思っていたのですが、必ずしもそうならないんですか?
確かに厳しい基準が必ずしも良いとは限りません。実は使っているモデルによって、同じ数字が表す中身が違うからです。ベイジアン知識追跡と呼ばれる古いタイプのモデルは、生徒が本当に理解している確率を推定しています。一方、ニューラルと呼ばれる最新のモデルは、次の問題を正解する確率を推定しているのです。
次の問題が解ける確率と本当の理解度、この違いが判定基準のズレにつながっていたんですね。でも、確率の計算方法が違うと言われても、具体的に基準値がどう変わるのかまだ掴めません。
モデルによって、同じ閾値が示す意味が異なるんです。BKTは閾値を変えても判定があまり変わらず、ニューラルモデルは閾値が上がるとより厳しくなります。このため、モデルや指導の優先度が変われば、閾値を再調整し、生徒への影響を評価する必要があるということです。
成績が良い生徒とそうでない生徒の差が開くのは困りますね。システムを作る側は、モデルを入れ替えるたびにこの基準をやり直ししなければならないんですか。
そうです。モデルを変更した時、あるいは指導の目標を変えた時には、毎回新しい基準を算出する必要があります。研究チームは、性能・追加練習量・進級率・アクセスの公平さを同時に評価する仕組みを提案しています。これまでにない試みですが、具体的な算出手法が公開されているかどうか、そこはまだ分かっていません。
公開されていないとなると、現場で使うのは大変そうですね。実際に学習支援サービスを作っている企業は、この研究をどう位置づけているんですか。
企業側の反応については材料に記述がありません。ただ、モデルや優先事項が変わったときに再調整すべきという結論から、自動で選ぶ仕組みが実用化されるのはまだ先になりそうですか。
では、この自動で選ぶ仕組みが実用化されるのは、まだ先になりそうですか。
六つのモデルと四つのデータセットを使い、30通りの設定ごとに性能と追加練習と進級のバランスが良い閾値を求めたところ、モデルや設定によって大きく変わりました。
最後に、この研究の次の課題は何ですか。
知識追跡モデルや指導の優先度が変われば、習熟の基準値は見直して、成績や練習量や進級や公平さへの影響で評価し直す必要があります。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。