大規模言語モデルにウソの情報を埋め込んで誤った情報を生成させるチャットAI「PoisonGPT」が開発されるOpenAIのGPT-4やMetaのLLaMAなどの大規模言語モデルは、ChatGPTなどのチャットAIに用いられるなど、世界的に大きな評価を受けています。しかし、これらの大規模言語モデルには、学習時に使用されたデータやアルゴリズムを特定するためのソリューションが存在しないことが問題視されています。モデルのトレーニングを行う際に、誤った情報をトレーニングしてしまうと、フェイクニュースの拡散などにつながります。AIに関するセキュリティ関連企業のMithril Securityが、既存の大規模言語モデルに誤った情報を加え、フェイクニュースを生成するチャットAI「PoisonGPT」を公開しました。 PoisonGPT: How we hid a lobotomized LLM on Hugging Face to spread fake news https://blog.mithrilsec
