AIデバッグはなぜ収束しないのか - P2がいつまでも消えない理由｜npaka

AIデバッグはなぜ収束しないのかについてまとめました。 1. はじめにCodexなどのAIコーディングエージェントでは、 レビュー → 問題を修正 → 再レビュー というデバッグを繰り返すことができます。 Codexを使ったコードレビューでは、発見した問題を「P0〜P3」のような優先度で整理することがあります。 ・P0 : 最優先。リリースを止めるような致命的な問題 ・P1 : 緊急。早急に修正すべき重要な問題 ・P2 : 通常。いずれ修正すべき一般的な問題 ・P3 : 低優先度。影響の小さい問題 数字が小さいほど優先度が高くなります。 AIレビューを繰り返していると、 「P2を全部直したのに、再レビューするとまたP2が出てくる」 ということがあります。 普通のデバッグなら、 10件 → 7件 → 4件 → 1件 → 0件 と減っていくイメージがあります。 なぜAIでは、P2がいつまでたっ

[Falky]

ほぼClaudeしか使ってないからよくわからんのだけど、Codexっていちいち指示しないとテストすら書かないの…？

[dd41kk]

レビュー観点を明確にせずにAI任せでレビューさせると収束しないことが多いので、観点をかなり明確にしたうえでレビュー依頼すると1回で収束するようになりました

[y_hirano]

個人的にはP2が修正一番厄介だと思う。P0、P1は設計とか実装の段階でも気づいたりするのであんまり出ないし、P3は機械的に修正できる。P2は影響度の低さのわりに修正するとなるとエグい改修があったりして辛い。

[circled]

Linuxの開発でLinusが「バグを直して何かが壊れるなら、それはバグじゃなくて仕様だ」とよく言ってたけど、たまにAIのこの手の話に似たようなものを感じる

[mska]

codexのp2言いがかりとそうでないものの落差激しい。そろそろ怠い

[dorapon2000]

“問題を数件発見しても探索を終了せず、対象範囲全体のレビューが完了するまで続けてください。”

[erya]

毎回コンテキストを新規にしてると増えがち。引き継ぐようにすると比較的収束しやすい。

[sotonohitokun]

これがP2の修正地獄の入り口かを臭覚で嗅ぎ分けるようになってきた・・。というか、数時間とかしたあと、ハタと「え？これ設計こうすれば消えるよな？」系がでたりするｗ

[ssssschang]

これなー、PRの自動レビューとかを仕込んだときにとても困る。自動レビュー自体はAIの利用者による差異を吸収する機構として気に入ってはいるのだけど、途中で「小出しにすんなバーカ」となってしまう問題

[kenzy_n]

終わりのなき開発

[nguyen-oi]

直せば直すほど別の枝葉を掘り返して無限ループするの完全にAIあるあるだしテストで縛るしかない