AIチャットボットに有害な情報を出力させる手口が存在、研究者が危険性を指摘 | カラパイア

イスラエルの研究チームが、主要なAIチャットボットが「脱獄（ジェイルブレイク）」と呼ばれる手口で、安全制御を回避され、違法で有害な情報を出力してしまう可能性があることを示した。 ChatGPTのような生成AIには、ユーザーの指示に対して有害な回答をしないよう制限が組み込まれている。しかし、今回の実験では、その制限が比較的簡単にすり抜けられることが明らかになった。 研究チームは、「これまで国家機関や犯罪組織に限られていた情報が、今やノートパソコンやスマートフォンを持つ誰にでも届く可能性がある」と警鐘を鳴らしている。 安全装置は簡単に突破されてしまう ChatGPT、Gemini、Claudeといった生成AIモデルの核である「大規模言語モデル（LLM）」は、インターネット上の膨大な情報をベースに訓練が施されている。 だがネット上には、違法で有害な行為を行う方法や、危険な情報が流れているのも事実

[misshiki]

“ 同チームはそうした安全制御が外された危険なAIを「ダークLLM」と呼び、差し迫った現実的な脅威であると危機感を露わにしている”