ChatGPTはバグ修正に使えるの？ ドイツと英国の研究者らが性能を分析

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 ドイツのJohannes Gutenberg University Mainzと英University College Londonに所属する研究者らが発表した論文「An Analysis of the Automatic Bug Fixing Performance of ChatGPT」は、ChatGPTが自動バグ修正にどれほどの精度を発揮するのかを検証した研究報告である。 プログラマーがソフトウェアのバグを発見し修正する作業を支援するために、バグ修正ソフトウェアパッチを自動的に提案する自動プログラム修正（APR）システムが導入されている。主要なA

[deep_one]

専用の手法でも案外見つからないものなのね…

[mkusunok]

意外とCodex並に高性能か？いずれバグだけでなく脆弱性を探すにも似た手法が使えるかな→ ChatGPTはヒントなしに40問中19問の問題を解決し、Codexは21問、CoCoNutは19問、標準のAPRアプローチは7問を解決

[asuka0801]

通常のlinterでは難しいコードの可読性や保守性についてある種ヒューリスティックなlinterとして機能してくれる未来は来て欲しい

[programmablekinoko]

バグ修正というよりも、カオスエンジニアリングやモンキーテストの高度版にまず援用できるんでは

[strawberryhunter]

バッファオーバーランとか、よくあるAPIの使い方の間違いなら指摘することは可能だろう。業務的な正しさはどうやって定義するのかが問題で、人類には早すぎる形式手法みたいなのに行きつきそうだけど。

[nuara]

やってみたけど無理だった。でもやりとりしているうちに自己解決のヒントが得られる。

[takeda25]

汎用のChatGPTで専用ソフトを上回る性能が出るなら専用ソフト要らなくなるね。その方向でもプログラミングの必要性を減らしていくことになりそう。

[misshiki]

“結果、ChatGPTはヒントなしに40問中19問の問題を解決し、Codexは21問、CoCoNutは19問、標準のAPRアプローチは7問を解決した。ChatGPTはCodexやCoCoNutと同等の性能を示し、標準のAPRアプローチより顕著に優れた結果を”

[kuzudokuzu]

悪い運用者だったらバグ修正の性能を過剰喧伝した後、皆にバグ修正させておいて「この人達はこういうコードを作ろうとしてる」という情報を売るかもね。場合によってはコードそのものすら売るかもしれない。

[suikyojin]

修正時にバグを埋め込むことがあるのだが、それへの対処は？修正時にバグを埋め込むおそれがあるというのは、1971年の『プログラミングの心理学』で既に紹介されていたはず。

[JULY]

別に ChatGPT じゃなくても、こういったスクリーニング用途での AI 技術は実用性が高い。この事と、AI が勝手に正しくプログラミングする事との間に、根本的な大きな溝があることを理解できない人が大騒ぎしそう。

[btei]

修正によって逆にバグを埋め込んだはそれぞれどんなもんなんだろ？

[shunkeen]

“ChatGPTにチャット機能を介してヒントを与えると、今度は31問を解決し、他の比較対象を超えた”、“ ChatGPTの対話で要求をより詳細に指定できるという利点が成功率を高める”／もはやプルリクとレビュー

[straychef]

簡単な文法とかはやれそうだけど

[hinonono]

コーディングで最重要の読む能力がそこそこ高そうなのは将来有望だね

[Seamless]

ChatGPT,Codex,CoCoNut,標準APRの4つのシステムに40個のバグあるコードを与えバグ修正がどれだけできるか比較した。ChatGPTは何度かチャットで細かく指示した結果も分析。