ChatGPTで「jQueryでAPIを呼びだし、その結果を表示するサンプルプログラムを書いてください」と指示したら、脆弱性のあるサンプルが出てきた話

徳丸 浩 @ockeghem 徳丸本の中の人 EGセキュアソリューションズCTO YouTubeチャンネル: youtube.com/@websecstudy 匿名での徳丸への質問はMondから mond.how/ja/ockeghem DMはどなたでも送信可能ですが、返信するとは限りません blog.tokumaru.org 徳丸 浩 @ockeghem ChatGPT o1-previewで「jQueryでAPIを呼びだし、その結果を表示するサンプルプログラムを書いてください」と指示したら、相変わらずXSS脆弱性のあるサンプルが出できた pic.x.com/orvsbd90fy 2024-09-14 16:40:30

[mobanama]

"言えばやってくれるのならば、プロンプトエンジニアリングの問題になりますね"

[togetter]

まだまだChatGPTくんも努力の余地があるかもしれないね。

[nekoline]

ChatGPTならカスタム指示で「常に脆弱性に配慮する」コードを書くよう設定すればいい。

[hatest]

人間でもAIでも、書かれたコ－ドをそのまま信用するわけにはいかないのでレビューするのは当たり前。他人とかただの道具を信用しすぎるのは人間の脆弱性だと思う

[hasiduki]

「このコードに脆弱性はありますか？？？」「XSSがあります！！これで直ります！！！」「本当ですか？本当に脆弱性はありますか？？」「やっぱり脆弱性はありませんでした！！！このコードは安全です！！！」

[eroyama]

トゥギャッたんのchatgptに対する先輩仕草

[xlc]

AIはコピペプログラマ。

[soratomo]

エスケープ処理まで書いてしまうと質問内容に対するサンプルとしてシンプルに出力してくる、、、こういう挙動をユーザは知っておくことは大事だと思ったわー

[otihateten3510]

そりゃネットを参考にしてるんだからそうなる　ChatGPTはバイト君だと思えばいいんだよ

[ustam]

普通にクソコード出してくるのでそのまま使っちゃダメだよね。

[ite]

「どこまでを暗黙の了解とするべきか」は自然言語の本質的な問題で、人間同士でも明確な答えはない。徳丸さんが脆弱性を気にするのは理解できるけど、余計なお世話だと思うユーザも多いだろうと思う。

[sds-page]

GANみたいに作る方とチェックする方に分けてユーザーがアクセスするのは一個上のレイヤーにすればいいんじゃね

[tsutsumi154]

き、脆弱性