プログラムのコードをChatGPTに書かせても、その半分は間違っている

プログラムのコードをChatGPTに書かせても、その半分は間違っている2024.05.29 12:0044,149 Matt Novak - Gizmodo US ［原文］ （ mayumine ） ChatGPTなしではもう仕事ができないなんて人も結構いるよね。 ChatGPTは、文章はもちろん、生成してほしいプログラムを指示するだけで、プログラムのコードを生成してくれます。 エンジニアにとっても非常に役に立つChatGPTですが、最近の新しい研究によれば、ChatGPTはコンピュータープログラミングの質問に対して、52%の確率で間違った回答をしていることがわかりました。 それでも35%はChatGPTが生成したコードを好むこの研究は、5月初めにハワイで開催されたComputer-Human Interaction Conferenceで発表されたもので、Stack Overflow上の

[gabill]

正攻法じゃ上手くいかない時にChatGPTに聞くと「それ試して駄目だったから聞いてるんだよ」となることあるけど、それは人間相手でも普通

[kakei-akihiko]

そうは言っても、ChatGPTより前はもっと高い確率で間違ってる情報の中から正解を探り出してたから半分の間違いで済むのは有用。

[H_Yamaguchi]

自分で書くと9割は間違ったコードを含んでしまうので、52%は自分より優秀。

[NEXTAltair]

コップの水の話だな半分しか正しいのがないと見るか半分も正しいのがあると見るか

[strawberryhunter]

プロンプトを変えてみたりして出力しなおしたり、見切りをつけたりもするけど、今は役に立つ道具。逆に100%正しいコードが出力されるようになると失業するかもしれない。

[hiroomi]

"AIはしょっちゅう間違うので信頼性に欠けることです。特にユーザーがユニークな質問をした場合は、その傾向が顕著に現れます。"これ自覚してるのかで答えは違うなと、他人さまの質問見てて思った。

[pwatermark]

東大生が全員コーダーとして優秀か？ コーディングに秀でるモデルとかもあるんで、そういうのを選べばいいだけの話

[poad1010]

この記事をおすすめしました

[hiroujin]

ChatGPTと言っても3と4では精度が全然違うぞ。

[tnishimu]

テストコードを書いてテストもして、と指示するだけで最初からテストを通す事を意識したコードになるからな。　雑な指示には雑な答えが返るのは人と同じ。

[gogatsu26]

なんで最後にチェックせんのかな

[puhu208n]

「ChatGPTを使えばビューティフルなフロントエンドのコードが怒涛の勢いで」とか言ってる奴らはその御自慢のRTX8090より一万億倍速いM2 MacBookで普段は何を打ち込んでるんだよと思う、ひたすらテンプレ手打ちしてんのか

[stabucky]

「書き直せ」は正確だけど、「書いてくれ」は動かない。そのライブラリでは定義されていないメソッドを適当に「創作」していたからなあ。「それはきっとhoge.remove()だよ」という感じ。

[ropponzo]

うまくいったときだけ紹介される。ギャンブル狂の「勝ってる」と同じ。

[sabinezu]

丸投げしなければ良い。無能な人間に頼むより全然いい。シンギュラリティを超えられてる無能はもう既に沢山いる。

[hgaragght]

人間が間違える確率はどれくらいかな？

[btei]

体感もっと低いけれど

[nekoline]

ChatGPTならいきなり完成形が出てくる訳で間違いに気づきにくいかも。GitHub Copilot ならまた違ってくると思う。