AIが実装し、AIがテストし、AIが「問題ありません」と言う時代の品質保証 - Qiita

はじめに Coding Agentの進化によって、ソフトウェア開発の形が大きく変わり始めています。 少し前までAIによる開発支援といえば、 コード補完 コード生成 リファクタリング テストコード生成 など、「人間が主体で、AIが支援する」使い方が中心でした。 しかし現在のCoding Agentは、単にコードを生成するだけではありません。 仕様を読み、Repositoryを調査し、実装し、テストを書き、失敗すれば原因を分析して修正する。 そしてテストがGreenになるまで、このループを自律的に回せるようになってきました。 これは非常に強力です。 しかし、ここで一つ重要な疑問が生まれます。 AIが実装し、AIがテストを作り、AIがそのテストを通るまで修正したとき、そのGreenは何を保証しているのでしょうか。 この記事で考えたいのは、まさにこの点です。 「テストがGreenだから正しい」は、

[tpircs]

この問題、人間が優秀な前提で語られてることが多い気がするんだけれど実際の人間は結構ポンコツなのが混ざってるからAIの謎テストのほうが品質が高いってのも普通にあったりするのが闇

[otihateten3510]

私も2ヶ月くらいAgentの検収問題の理論化について取り組んでる。大体答えは見つけた。とりあえず、自動テストで何とかなるシステムとならないシステムで分けたい。この記事は前者。どうも前者に引きずられる。

[gm91]

たとえばテストパターン生成をAIにやらせたとして、その妥当性の判定は自分でやるよね。もう一歩踏み込むならばそのパターンでなぜ妥当と言えるのか？を説明させる。

[harumomo2006]

テストを通すことだけに専念するテスターいるから領域が違うだけでそんなに変わらない印象

[fuji_haruka]

AI時代にどんな能力が重要になるか、という問い自体がもう賞味期限切れしかけていて、遅かれ早かれ人間の知性がAIにより疎外されるのを認めざるをえなくなると思う。

[doko]

プロダクトをどのレベルまで掌握したいか、すべきかという話があって、お仕事なら相当の深度までだろうが、個人のプロダクトなら「お客さん」と同じレベルで良いと思う。なんか違うと思ったらそれは「違う」で良い

[uehaj]

この問いは、要求仕様を書き下すべきだという結論になる。

[tonocchokun]

そしてAIが品質保証するようになったときの責任だけが人間に残される未来なのだろうか

[morimarii]

そもそもAI関係なくテストを通過したからといって「ユーザが期待する仕様を満たす」わけないのでいろいろ前提からおかしいのでは？

[sevenspice]

現場では皆AIを通して仕事してるだけになってしまった。品質云々以前に人間がいるはずなのに人間と会話もチャットもしてるように思えない虚しさがある。スマホ持たずにいられますか？みたいな状況に近い…

[pchatsu]

via https://x.com/yoshikiito/status/2087519217486639514

[sakurai_youhei]

保証、、、誰が？AIが！？じゃないよね、自然人か法人、もしくは組織やチームが品質を保証するんだよね。検査したり試したりしてその結果を見て誰かがヨシ！するものだとばっかり。

[CardamomPowder]

なんか冗長で要領を得ない感じがするな。TDDのテストを正とする前提で動く中で、テストが正で保証できない部分をどう定義するのかの議論の方が知りたい

[joseph150]

ひょっとしてこの記事自体AIが書いてない？違ったら失礼しましただけど、見慣れた文体すぎて。。。

[ikanosuke]

AI「ヨシ！」

[snare_micchan]

アジャイルにおける「完成の定義」にあたる話だな。これがないのにアジャイルやってますという謎現場に遭遇したことがあったのを思い出した

[gabari]

昔は「受け入れテストの設計」をテストチームに任せてコーディングだけしていればよかったが、コーディングを代替されてしまっただけ。自分で書けばゴメンなさいで許されたがAIに書かせるとそうもいかない。

[hasiduki]

金を稼いだモンの勝ちだ！！！！！！！！

[schoollife]

上位要求を満たすよう最下位のコンポーネントを作るときに、設計・検証が自動化できるのはその通りでなのではないか。それを組み込んだときに問題ないかどうかは一つ上のレベルで動作確認でやればいい。

[nikutetu]

最初はまぁそうか…と納得する点はあるものの、途中から横文字が多すぎてうるせぇ！となった。人間のダメなのはそういうとこだぜ。

[nobububu]

ちょっと凝ったロジックのテストケースだとまだまだ全然Opusよりは人間のが優秀だけど。

[circled]

同じAIモデル使うと良くない(solで設計、lunaで実装、solでレビュー)とか言われてるけど、最近MOAで複数のAIモデルをオーケストレーションするの普通になったから、もうかなり勝手に品質上げてってくれるんだよね

[t-tanaka]

役割の違うエージェントに協働させるんじゃだめなの？

[duckt]

まあ考えたら自然科学理論の証明だって「十分に」距離を置いた「十分な」数のテスト結果と整合的か、ということに尽きるもんな。理論自体の正しさは永遠に証明できないわけで。

[King0812]

https://speakerdeck.com/recruitengineers/developerssummit2026summer_kurodaと似てる、このEOSL事例では役割混在させたら収束しなかった、本記事では仮に収束・Passしても品質は担保されないぞと指摘、故に独立したパイプライン設計が必要

[yellowdomestic]

むしろ全部AIに任せた方がマシな現場の方が多いと思う

[junk-do]

人間が実装し、人間がテストし、人間が「問題ありません」と言う時代は終わったと言うことか。正直ある一定ライン以下の人間よりもCodexかClaudeがコーディングしたコードの方が信用できる時代。

[toaruR]

仕様でもタスクでも、効くルーブリックが必要で、AIより上手く作れる人は案外少ないとも（´－｀）と、その辺を整えても、新モデル登場でひっくり返る辛みも

[iouri]

ユーザーサポートもユーザーも全部AIにすればいいんだよｗ

[ochikun]

つまりこれからは、AIの出力を信じることしかできない人材か、その出力の妥当性を確認できる人材かに分かれるってことだよな

[misshiki]

AIが実装・テスト・修正まで担う時代は、テストが通っただけでは正しさを保証できない。人間は「何を正しいとするか」「何を必ず検証するか」を定義し、AIとは独立した確認手段を用意することが重要。

[mayumayu_nimolove]

コードは問題ありません。でも売れるんですかこれ？

[fashi]

AIが「これはテストが間違ってるのでテストを修正します」と言うのはよく見る / この記事も同じこと繰り返しててワードサラダみがあるな

[soulfulmiddleagedman]

mutation test あたりをやりたいとは思ってるけど。

[KIKERIKI17]

「要求仕様」があるはずなのにＡＩはそれを忘れて「テストケースを要求仕様として適応する」みたいな話が構成されてない？書かれてる事はテストやＡＩの問題ではなくない？「外注にアウトソース」でも一緒だよね

[aalpaca375]

AIによるテストは、テックリードの能力に支えられた上で初めて使い物になる。採用した技術基盤は、その業務に対して十分な表現力を有しているか。現代のAIは、その多くを即座には判別できない。

[ejointjp]

Opus 5より頭がいい人間がいるなら品質チェックしてほしい。そうでなければOpus先生に全面的にお願いしたい

[fai_fx]

敵対的テスターAIは必須。

[green_chili]

『「正しさを評価する仕組みを設計する能力」』