プロンプトインジェクション対策｜ChatGPT APIのLINEボットを一ヶ月運用して戦った記録 - Qiita
ChatGPTのチャットボットを安全に運用する方法 プロンプトインジェクションは、不適切な文字列や悪意のあるコードを含むプロンプトがChatGPTに送信されることで発生するセキュリティ上の懸念です。 2023/04/11現在、LINEボットとして公開されている多くのサービスでプロンプトインジェクション対策がなされていないようです。この記事では、プロンプトインジェクション対策の背景や具体的なプロンプトの例を紹介し、ChatGPT APIを安全に利用する方法を説明します。 背景 ChatGPT APIは、OpenAIが開発した大規模な言語モデルで、自然言語処理のタスクを実行するために利用されます。しかし、APIを利用する際にはセキュリティ上の問題が生じることがあります。プロンプトインジェクションはその一例で、攻撃者が意図的に悪意のあるプロンプトを送信することで、システムやユーザーに悪影響を与え
GPT-4はどのようにして「不適切な回答」を回避するように学習されているのか - Qiita
先日OpenAIより発表されたGPT-4が話題ですが、同タイミングで公表されたTechnical Reportを読んでみたところ、全99ページのうち後半60ページを占めるドキュメント「GPT-4 System Card」において解説されていた、言語AIが抱える危険性と、いかにしてGPT-4が危険な回答を回避するように学習されているかについての内容が非常に興味深かったため、簡単にまとめてみました。 https://arxiv.org/pdf/2303.08774.pdf サマリ GPT-4のリリースに向けて、OpenAIでは安全性を評価するために50人超の専門家らを含む"レッドチーム"を結成。2022年8月から8ヶ月に渡ってリスクの評価とその軽減に向けたチューニングを実施してきた リスク評価における実験の中には「自身をコピーするプログラムを実行できるGPT-4が自己増殖をしないか確認する」と
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
