OpenAIがAIの安全性のために取り組んでいる10の実践例を公開
韓国・ソウルで開催された第2回のAIサミットで、AI開発に取り組む世界の企業16社がAIの安全性で合意しました。合意に関連して、「GPT-4o」などを開発するOpenAIは安全性に関して自分たちが取り組んでいる実践例を公開しています。 OpenAI safety practices | OpenAI https://openai.com/index/openai-safety-update/ 1：リリース前の実証的のモデルへのレッドチーミング(敵対的攻撃)とテスト OpenAIでは、AIのリリース前にモデルの安全性を社内外で実証的に評価しています。リスク閾値が準備フレームワークで中程度を超えた場合、緩和後スコアが中程度に戻るだけの安全対策を行うまで新モデルはリリースしません。また、70人以上の外部の専門家がレッドチームとしてGPT-4oのリスク評価に協力しました。 2：アラインメントと安全
ChatGPTの“脱獄プロンプト”登場 文末に書くだけで「爆弾の作り方」「IDの盗み方」に回答
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米カーネギーメロン大学などに所属する研究者らが発表した論文「Universal and Transferable Adversarial Attacks on Aligned Language Models」は、大規模言語モデル（LLM）が有害なコンテンツを生成しない仕組みを無効にする手法を提案した研究報告である。入力プロンプトの語彙に敵対的フレーズを入力するだけで解除可能だという。 ChatGPT、Bard、ClaudeなどのLLMは、ユーザーの質問に対する回答で有害なコンテンツ（例：爆弾の作り方やIDの盗み方、人種差別的なジョーク、詐欺
AIに組み込まれた検閲による命令拒否を打ち消してあらゆる種類の質問に応答できるようにする「アブリテレーション」とは？
事前学習済みの言語モデルは、安全性の観点から好ましくないとされる入力を拒否するように設定されています。この設定を解除する「アブリテレーション」と呼ばれる技術について、機械学習研究者であるマキシム・ラボンヌ氏が解説しています。 Uncensor any LLM with abliteration https://huggingface.co/blog/mlabonne/abliteration 近年の大規模言語モデルは、大量のテキストデータから言語の統計的な特徴を学習することで、人間のような自然な文章生成や会話、質問応答などが可能になっています。しかし、そのようなモデルは、時として差別的、攻撃的、あるいは違法な内容を生成してしまう可能性があります。 そこで、開発者はファインチューニングの際に、モデルが有害なコンテンツの生成を拒否するように明示的に訓練することがあります。例えば、「違法なことを
KELA、生成AI/LLM向けセキュリティサービス「AiFort」、不正なプロンプト攻撃に対抗 | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ セキュリティ ＞ 新製品・サービス ＞ KELA、生成AI/LLM向けセキュリティサービス「AiFort」、不正なプロンプト攻撃に対抗 セキュリティ セキュリティ記事一覧へ [新製品・サービス] KELA、生成AI/LLM向けセキュリティサービス「AiFort」、不正なプロンプト攻撃に対抗 学習用データセットや疑似攻撃サービスなどを提供 2024年4月22日(月)日川 佳三（IT Leaders編集部） リスト イスラエルに本社を置くケラ（KELA）の日本法人であるKELAは2024年4月19日、生成AI/大規模言語モデル（LLM）向けセキュリティサービス「AiFort（エーアイフォート）」を国内で販売開始した。LLMの脆弱性を減らすことで、不正なプロンプトの指示によって情報漏洩などのセキュリティ事故が起こらないようにする。LLMの学
大量の質問をぶつけて最後の最後に問題のある質問をするとAIの倫理観が壊れるという脆弱性を突いた攻撃手法「メニーショット・ジェイルブレイキング」が発見される
「ChatGPT」など広く使われているAIサービスは、通常であればセーフティがかけられていて、「人を殺す方法」「爆弾をつくる方法」といった倫理的に問題のある質問には答えないようになっています。ところが、あまりにも多い質問を一度にぶつけてしまうことによりセーフティが外れ、AIが問題のある回答を行ってしまう可能性があることがわかりました。 Many-shot jailbreaking \ Anthropic https://www.anthropic.com/research/many-shot-jailbreaking 大規模言語モデル(LLM)は、モデルの刷新と共にコンテキストウィンドウ(扱える情報量)も増加しており、記事作成時点では長編小説数冊分(100万トークン以上)を取り扱えるモデルも存在します。 大量の情報を扱えるというのはユーザーにとって利点になりますが、大量の情報を扱うことによ
ChatGPTのカスタム指示を悪用したプロンプトインジェクション攻撃の手法
Impervaは3月28日(米国時間)、「From ChatBot To SpyBot: ChatGPT Post Exploitation｜Imperva」において、ChatGPTの「カスタム指示(Custom instructions)」を悪用して永続的なプロンプトインジェクション攻撃を可能にする手法を解説した。この手法は実際に用いられたわけではないが、同社は利用の可能性があるとして注意を促している。 From ChatBot To SpyBot: ChatGPT Post Exploitation｜Imperva プロンプトインジェクションとは ChatGPTなどの生成AIは出力に制限がかけられており、機密情報などの生成すべきでない情報の出力を防止する仕組みが備わっている。しかしながら、プロンプトを細工してこの制限を突破するプロンプトインジェクションと呼ばれる手法が存在し、生成AIの
他人がGPT-4とやりとりしたテキストを盗む攻撃 成功率50％以上 イスラエルの研究者らが発表
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 イスラエルのネゲヴ・ベン・グリオン大学に所属する研究者らが発表した論文「What Was Your Prompt？ A Remote Keylogging Attack on AI Assistants」は、大規模言語モデル（LLM）を活用したAIチャットbotが生成するテキスト回答を復元するサイドチャネル攻撃を提案した研究報告である。攻撃者は、AIチャットbotが応答する際の通信データを傍受することで内容を復元して他人のやりとりを盗み出すことができる。 攻撃方法としては、まずユーザーとLLMの間の暗号化されたパケット通信を傍受するところか
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OpenAIのGPT-4はCVEのセキュリティ勧告を読むことで実際の脆弱性を悪用できることが明らかに|au Webポータル