研究者のパソコンだけで動き、鍵は自分のものを使う研究アシスタントが登場した
この記事のポイント
- 過大な主張を検証できる形にした
- 論文手順と改ざん不可能なログで対応
- 科学品質で上位。環境記録はエージェント作成
数字で見る
この記事に出てくる数字
| ベンチマーク | 9 |
|---|---|
| 評価数 | 20 |
| ライセンス | MIT |
どこで使えるか
研究データを自分で管理したい人向け。MITライセンスで商用利用も可能 GitHubで公開済み
スポンサーリンク
解説
かみくだいて説明します
Aubrey M. Brueckner さんたちの研究チームが、科学者が自分のパソコンで動かせる無料のオープンソース AI 研究アシスタント「K-Dense BYOK」を発表しました。プロジェクトのデータもコードも記録も、研究者が管理する普通のフォルダに保存される仕組みです。
研究者のパソコンだけで完結するというのは、データが外部に漏れにくいんですかね。モデルの鍵やアクセス権を自分で持ってくる方式なんですね。
そうです。BYOK は bring your own keys の略で、研究者が好きな AI のモデルの鍵やアクセス権を自分で持ってくる方式です。クラウドで借りるか自分の機械で回すか選べます。アプリケーション側は、作業の場所と科学の手順のカタログ、レビュー役や執筆役の役割分け、そして過去の記録を決して消さない「リビングラボノートブック」を用意します。
自分でモデルを持ってきて、手順や役割はソフト側が揃えるんですね。その上でノートブックがあるそうですが、普通のメモ帳とどこが違うんですか?
普通のメモ帳だと書き換えて消すことができますが、このノートブックは追加だけしかできず、過去の記録は決して消えません。後ろのページが前のページの指紋のようなデータで鎖のように繋がっているからで、誰かがこっそり書き換えても、指紋が合わなくなってすぐに分かるようになっています。
消せない上に、書き換えようとしてもバレる構造なんですね。AI がやったことを AI 自身に書かせないというのは、作る側としてなぜ必要だったんですか?
AI が自分のやったことを自分で報告すると、実際より良い結果だと過大評価する傾向があるからです。そこで AI が動いた様子を外部から監視してログに残す仕組みにしました。9 つの最先端モデルで試したところ、20 個の学際的な研究課題で採点した結果、管理型の 2 つのプラットフォームを科学の質と実行力で上回りました。
AI 自身が報告するのではなく、外から動きを記録するから正確になるんですね。実際に研究で使う場合、他のサービスと比べてどこが明確に違うんですか?
結果を報告する際に、どのソフトウェアを使ったかを記録しているのはこのアシスタントだけで、同じ最先端モデルを使った管理型サービスではそれがありませんでした。さらに、結果をもう一度作り直すためのコマンドが添えられているのも、このアシスタントの成果物だけでした。
では、環境の記録についてもう少し知りたいです。ログにソフトウェアの環境自体が捉えられていないというのは、今後どう変わる見込みですか?
現状では AI が書いたファイルが環境記録として残るだけで、ログそのものが環境まで自動で記録していません。そこはまだ分かっていませんが、コードは MIT ライセンスで公開されていますから、開発者が自分で改善を進められる状態です。
最後に、同じ最先端モデルを使った管理型サービスが環境記録を出さなかったというのは、意外な結果ですね。開発側は何か説明をしているんですか?
具体的な理由は現時点ではっきりしていません。ただし、開発者が自分で改善を進められる状態です。今後のアップデートでログが環境まで自動で記録されるかどうかは、現時点ではっきりした見通しが立っていません。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。