WisTMP支援LLMは計画自動作成に有効だが、根拠や費用見積りはまだ課題
この記事のポイント
- TMP作成は熟練者の手間に依存
- PDFをQ&Aペアに変えてLLMを学習
- 全体は向上。ただし戦略の過剰生成と費用推定が課題
数字で見る
この記事に出てくる数字
| モデル規模 | 7B/8B→14B |
|---|---|
| データ形式 | JSON |
どこで使えるか
交通インフラの工事計画を効率的に作成したい人向け。熟練者の手間に依存せず、LLMで自動生成が可能。 GitHubで公開予定 PDFからQ&Aペアを作成したデータセットも公開
スポンサーリンク
解説
かみくだいて説明します
Zihao Shengらの研究チームが、WisDOT WisTMPシステムを使った道路工事の安全管理計画を自動で作る言語モデルのフレームワークを発表しました。既存の計画書からPDFをJSON形式の質問と回答のペアに変換したデータで、7Bや8B、14Bといった規模のオープンソースの言語モデルをローカル環境で微調整し、データが外部に出ない形で運用できるようにしています。
なるほど、工事中の計画書をAIに書かせるんですね。では、微調整というのは具体的にどうやるんですか。
既存のモデルに、工事の計画書だけを集めた問題集で勉強させるイメージです。汎用で覚えた知識の上書きではなく、専門分野だけ深く学ぶように学習させています。
問題集で専門的に鍛えるんですね。では、実際にモデルの性能を測った結果、どのくらい正確に書けるようになったんですか?
標準的な文章生成の指標で測ったところ、微調整をしたモデルは明らかに精度が上がっています。ただ、項目ごとの分析を見ると、全体的な戦略の出しすぎと、その工事特有の理由付けや費用の見積もりがまだ正確に出せないという課題が残っています。
費用の見積もりが正確に出せないのは、現場の条件がそれぞれ違うからですね。では、モデルを大きくすればするほど精度は上がるんですか。
7Bや8Bから14Bへのモデルのスケールアップで得られる改善は限定的でした。
数を増やすよりデータの方を詰める方が効率的なんですね。では、実際にこのシステムを使う側が困っている部分はどこで、AIがどう変わるんですか。
計画書の作成はこれまで専門家の経験に依存していたので、AIが下書きを自動生成することで効率改善が期待できます。ただし、工事固有の理由や正確な費用はAI任せにはできず、人の目で最終確認をする必要があります。
確かに、見積もりや理由付けは責任が重い部分ですからね。では、一般の技術者が手元で動かすのは難しいんですか。
ローカル環境で動かす前提で作られているので、インターネットにつながない社内ネットワークでも利用できます。ソースコードと動作確認の動画は公開されています。
社内でも安全に使えるのは安心ですね。最後に、今後このAIはどのくらい精度を上げていく見込みですか。
7Bや8Bから14Bにスケールアップしても限定的な向上しか得られなかったという結果があります。このことから、モデルの規模を単純に大きくするだけでは限界があると考えられます。
出典
この記事のもとになった情報
※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。