タグ

injectionに関するlamichのブックマーク (2)

  • ChatGPT活用時のセキュリティ懸念、プロンプトインジェクション攻撃とその対策を解説 | LAC WATCH

    プロダクトの開発を手掛けているソフトウエアエンジニアリンググループに所属する加藤です。 昨今、人間のように自然に対話できるAIとして注目を集めるChatGPTを中心に、生成AI(Generative AI)の活用が広がっています。既に、生成AIを組み込んだシステムの開発も幅広く実施されています。生成AIは「プロンプト」と呼ばれる指示を受け取り、様々な回答を返します。 しかし、生成AIには懸念点も指摘されています。例えば、プロンプトに悪意ある入力をすることで、生成AIを組み込んだシステムに意図しない動作をさせる「プロンプトインジェクション攻撃」の危険性などです。 この記事では、生成AIを組み込んだシステムに対するプロンプトインジェクション攻撃とはどのようなものか、プロンプトインジェクション攻撃に対してはどのような対応方法があるかをお伝えします。 生成AIを組み込んだシステムの概要 はじめに、

    ChatGPT活用時のセキュリティ懸念、プロンプトインジェクション攻撃とその対策を解説 | LAC WATCH
  • SNSで話題のChatGPTプロンプトインジェクション攻撃とは | Hakky Handbook

    ※この記事は AI によって書かれた内容をもとに作成したものになります。Hakky では自社の取り組みの一環として、記事作成に AI を導入しています。 近年、AI 技術の発展により、様々なチャットボットが登場しています。中でも、OpenAI が開発した ChatGPT は、高い応答性能を持つことから注目を集めています。しかし、SNS で話題になっているプロンプトインジェクション攻撃という手法により、通常とは異なる予期しえない結果が出力されることがあります。記事では、ChatGPT のプロンプトインジェクション攻撃について解説し、対策方法を提案します。 そもそも ChatGPT とは​ ChatGPT は、OpenAI が開発した大規模な AI 言語モデルです。GPT-4 アーキテクチャに基づいており、高度な自然言語理解と生成能力を備えています。これにより、人間が書くような文章を生成した

  • 1