LLM で HLS の設計データを自動生成する SyntheticHLS、モデルの汎化を高める話

論文

LLM で HLS の設計データを自動生成する SyntheticHLS、モデルの汎化を高める話

スポンサーリンク

SyntheticHLSが、LLM による HLS 設計データの自動生成を実現した。

この記事のポイント

  • HLSデータセットの生成は手動が中心
  • LLMによる反復的突然変異で多様化
  • ゼロショット生成より幅広い設計空間

数字で見る

この記事に出てくる数字

QoRモデル 深層学習
設計空間 多様性
学習データ 大規模

どこで使えるか

HLSモデルの汎化を高めたい人向け。設計空間の多様性を自動で確保 GitHubで公開済み フレームワークと評価コードを含む

スポンサーリンク

解説

かみくだいて説明します

Stefan Abi-Karam さんたちの研究チームが、arXiv に SyntheticHLS というフレームワークを発表しました。大規模言語モデルを使って、半導体設計のコードを自動で増やし、多様な学習データを作る仕組みです。従来の手作業やパラメータ調整ではなく、反復的な変異ループと、複雑さや拡張性を測る定量的な指標を組み合わせ、ゼロから設計空間を広く拡げることに成功しています。
半導体設計のコードを人工知能で増やすんですか。作る側から見ると、いま現場で使われている手作業の工程をそのまま置き換える話になりますか。
置き換えるというよりは、学習データを補完する役割です。コードの長さや階層構造、遅延時間、リソース使用量、そして扱うアプリケーションの分野まで、これまで揃わなかった要素を一度に揃えられるように設計されています。
要素を一度に揃えられるんですね。設計の幅がぐっと広がるイメージです。
正確には件数や倍率の数字は示されていませんが、ゼロショットで生成した設計と比べ、変異を繰り返した設計のほうがはるかに広い設計空間をカバーしていることが検証されています。モデルの汎化性能を測る HLS の QoR という深層学習モデルで、共通ベンチマークとゼロショット生成、そして変異生成の三つを横断的にクロスバリデーションした結果です。
QoR という深層学習モデルって、具体的に何を測るんですか。
設計の品質や結果の良し悪しを数値で評価する深層学習モデルです。同じ機能の回路を組むとき、消費する電力や面積、そして処理速度のバランスを総合的に判断するものとイメージすると分かりやすいです。
電力や面積、速度のバランスを判断するんですね。目標以外の要素が後退しないのは安心です。
指標に導かれた変異軌跡は一貫して目標の複雑さと拡張性を高め、それ以外の非目標指標が後退することはありません。指定した方向だけ改良し、他の要素は維持される形で設計が拡がっていくことになります。
研究している人から見ると、これまでは何ができていなかったんですか。
既存の HLS データセットは手作業の選別か設計パラメータの調整が中心で、コード長や階層、遅延時間、リソース使用量、アプリケーション分野といった多様性が十分ではなく、モデルの汎化が制限されがちでした。大規模言語モデルによる高品質な生成や多様性の確保が、これまでほとんど行われていなかったのが実情です。
多様性が十分でなく、汎化が制限されていたんですね。では、設計に人工知能を組み込んでいる技術者が実際に使える形で公開されているんですか。
公開されています。フレームワーク、データセット、そして評価手法一式がオープンソースとして提供されており、GitHub で誰でもアクセス可能です。
GitHub で誰でもアクセスできるんですね。逆が成り立たないというのは、既存のベンチマークだけだと未知の設計に対応しきれない可能性が高いんですね。
共通ベンチマークから生成データへの移転は良いですが、逆方向の汎化は期待通りにならないため、既存のベンチマークデータだけに依存したモデルでは、未知の設計への対応が不十分になる可能性があります。変異生成データが最も汎化性の高い学習コーパスであるという検証結果は、今後のモデル開発において、いかに多様で複雑な合成データをどう組み込むかが鍵になることを示しています。
最後に、多様で複雑な合成データをどう組み込むかが今後の課題ですが、まだ解けていない点はどこですか。
変異生成データの具体的な組み込み方や、非目標指標の長期的な安定性については、そこはまだ分かっていません。

出典

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文