敵対的検証をLLMコードレビューで試すと何が起きるのか

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 AIでコードのレビューをする際に敵対的検証をすることで性能が上がるとされています。そこにさらに、その検証を監視する役を付けることでレビューの精度を上げる手法「Adversarial Review」について紹介します。 サマリー 最近、敵対的検証という言葉を耳にすることが増えました。AnthropicもClaude Codeのワークフローの一つとして紹介しており、エージェントの出力を、別のエージェントに基準を与えて敵対的に検証させる方法を紹介しています。(エージェントに「敵対的検証をして」というだけで効果がある) For each spawned agent, run a separate spawned agent to adversarially verify its output against a rubric or crit

[gabill]

難癖のようなエッジケースを指摘され、それに対応したら新たなエッジケースが発生し、無限に重箱の角を突くループでどんどんどんどんコードが複雑になるのでこの方法しんどいなと思ってる

[hogetax]

調査目的でよく使うけどなかなか鋭い指摘があって重宝している。コメ欄見るとコードだと重箱の隅つつく感じになるのか^^;

[misshiki]

LLMコードレビューにReviewerとCriticの敵対的検証を導入。指摘をコード証拠で反論・修正し合い、F1スコアが既存手法比3ポイント向上。一方、ゼロショット比でトークン消費は約4.5倍。

[lyiase]

敵対的検証、使ってる側が「気軽に出来るもの」って思い込みになっているのをどうにかしたい。「どんな敵意を持って検証するのか」を適切に伝えなければ意味のないレビューになりがち。

[yarumato]

“Reviewerが「敵対的検証」で問題の候補を見つけて、Criticが「証拠付き」で不要な指摘を見つけて、ReviewerとCriticが「合意する」までやり取りを重ねます。証拠付き、が重要で、問題っぽいとかの曖昧な可能性を減らす”

[puruhime]

これって「敵対的生成ネットワーク」の敵対的なのかな。確かに仕組みとしては近しいような気はするのだけど

[revert]

今はCriticを自分の目でやって勘の維持とレベル上げをしてるけど、そのうちここも自動化されるのだろうなとも思っている

[gadget-lab]

後で読みたい。敵対的検証をLLMコードレビューで試すと何が起きるのか

[strawberryhunter]

敵対的なレビューをレビューして薄めるのか。要らねえ。