FINNでNPUを自動生成しPYNQ-Z1で車検出を動かす手法

論文

FINNでNPUを自動生成しPYNQ-Z1で車検出を動かす手法

スポンサーリンク

FINN搭載NPUがPYNQ-Z1で35.66FPSの車検出を達成した

この記事のポイント

  • 小型FPGAで車検出の4条件を満たす手法は不明
  • LP-YOLO Slimをw2a4量子化しFINNで実装
  • batch100で35.66FPS。ただし同構成のみ

数字で見る

この記事に出てくる数字

目標フレームレート 30 FPS
達成フレームレート 35.66 FPS
検出精度 0.594 mAP

どこで使えるか

小型FPGAでリアルタイム検出を組む人向け。4ビット量子化とモデル軽量化で条件を満たす 論文の付録やコード記載なし PYNQ-Z1ボードとFINNツールチェーンが必要

動画を見る

スポンサーリンク

解説

かみくだいて説明します

小型FPGAボードでリアルタイムの車両検出を動かすって、結構厳しい条件ですよね?
確かにその通りです。組み込み環境では演算リソースと消費電力の両立が常に課題になります。
私、既存のモデルをそのまま載せると、どうしても処理落ちや発熱が気になりますか?
そうです。最終的なLP-YOLO Slimの構成は、30 FPS、7 FPS/W、50 ms、0.55 mAPの4つの要件をすべて満たす唯一のモデル実装です。
そこで研究チームがarXivで公開したのが、FINNデータフローコンパイルと量子化学習を組み合わせる手法です。LP-YOLO Slimをベースに、BrevitasとQONNXでモデルをエクスポートし、Vivadoで実装する流れです。
そのアプローチって、具体的にはどういう仕組みなんですか?
核心は256x256の入力解像度とw2a4の4bit量子化です。FINNが畳み込み演算をパイプライン化し、FIFOの深さを手動と自動で最適化することで、PLクロックを142.86 MHzに設定しています。
演算パスを細かく区切ってデータの流れを制御するんですね!
その通りです。データフローを最適化するために、FIFOのサイズをマニュアルで設定したり、自動的に調整したりする選択肢があります。
私、実際の性能指標はどうなったんですか?
最終構成では35.66 FPSを達成し、消費電力は2.91 Wでエネルギー効率は12.25 FPS/Wです。PL遅延は45.11 ms、Pascal VOCでの検出精度は0.594 mAP@0.5を記録しています。
私、従来のCPU推論や単純なFPGA実装と比べると、どれくらい差が出るんですか?
従来手法では30 FPSと7 FPS/Wの両立が困難だった点を明確に上回り、50 ms以下の遅延と0.55 mAP@0.5の精度要件も同時に満たしています。
でも、特定の方式に最適化しただけなら、結局根本的な解決にはなっていないんじゃないですか?
その通りです。入力解像度や量子化ビット数を変更すると精度が低下する制約があり、Zynq XC7Z020という特定デバイスへの依存度も無視できません。
私、自分で動かす場合はどうすればいいんですか?
公開されているコードとFINNのワークフローを参照すれば、PYNQ-Z1ボード上で再現できます。まずは標準設定から始めて、FIFOサイズを調整してみてください。
LP-YOLO Slimの256×256入力とw2a4量子化が、このボードで全要件を満たす唯一の構成でした。
組み込みAIの実用化が一段階進んだ気がします!

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文