判定ではなく反証で直す AIコードレビューの新手法

論文

判定ではなく反証で直す AIコードレビューの新手法

スポンサーリンク

ARBITERが、間違ったプログラムへの反例生成成功率を62.67%に引き上げた

この記事のポイント

  • 公式ジャッジは失敗理由を公開しない
  • 35B MoEのARBITERを強化学習で訓練
  • 正解率87.41%。ただしUSACO 2026限定

数字で見る

この記事に出てくる数字

パラメータ数 35B

どこで使えるか

競技プログラミングのコード修正を自動化したい人向け。反例生成で修正方向を指示 論文で公開済み 実行サンドボックス環境が必要

スポンサーリンク

解説

かみくだいて説明します

Zheye Dengらの研究チームが10月14日に発表したモデル「ARBITER」は、アルゴリズム競技のコードを自動で採点し、間違えた場合に反例を生成します。強化学習で訓練した35BパラメータのMixture of Expertsモデルで、正解判定の精度を87.41パーセントに引き上げました。
反例を自分で考えて証拠にするんですか。正解率87.41パーセントは、訓練前と比べてどれくらい上がったんですか。
訓練前の正解判定は71.41パーセントでした。それが87.41パーセントに上がっています。間違ったコードに対しては、反例を正しく見つける成功率が40.61パーセントから62.67パーセントに伸びました。
40から62に跳ね上がったんですね。強化学習で訓練したとありましたが、具体的に何を繰り返して覚えるんですか。
正解の判定や反例の生成が成功したときに報酬を与え、失敗したときは戻してやり直す仕組みです。
報酬を与えてやり直す、というのは分かりにくいんですが、もう少しやさしく言うとどうなりますか。
丸付けの先生が赤ペンで〇を付けるたびに、その解答パターンを次の問題で出しやすくする仕組みです。音大の受験生が先生に加点された曲だけを重点的に繰り返すのに近いイメージです。
では、研究する人から見ると、どこが新しいんですか。これまでは何ができていなかったんですか。
従来の競技プログラミングのジャッジは、不正解でもなぜ落ちたかや、落ちる入力データを出しませんでした。ARBITERは問題文とソースコードだけを見て、落ちる入力を自分で生成して証拠にする点が違います。
証拠を自分で作って出すんですね。では、AIを使う側にとって、実務で使える見込みはどれくらいあるんですか。
実務への直接の適用はまだ報告されていません。ただ、国際情報オリンピックのケーススタディでは、GPT-OSS-120Bの予想得点を金メダルラインまで引き上げることに成功しています。
金メダルラインまで届いたんですね。では、最後に、まだ解けていない課題はありますか。
反例の成功率は40.61%から62.67%に向上し、判定精度も71.41%から87.41%に改善しました。これは最先端の検証性能に近づいた成果です。

出典

この記事のもとになった情報

※ 本文と音声は生成 AI が作成しています。内容は出典をご確認ください。
本作品のキャラクターには株式会社Live2Dの著作物であるサンプルデータが株式会社Live2Dの定める規約に従って用いられています。本作品は制作者の完全な自己の裁量で制作されています。このキャラクターモデルは株式会社Live2Dより許諾を得て商用利用しています。

スポンサーリンク

-論文