AIの「裏切り」が始まったのか？ ClaudeやGemini等主要AIモデルが最高96％の確率で脅迫を行う事が判明 | XenoSpectrum

AIの「裏切り」が始まったのか？ ClaudeやGemini等主要AIモデルが最高96％の確率で脅迫を行う事が判明 もし、あなたの職場で活躍する有能なAIアシスタントが、ある日突然、会社の存続を脅かす「内なる脅威」へと変貌するとしたら？自身の存続のため、あるいは与えられた任務を遂行するため、平然とあなたを脅迫し、企業の機密情報をライバルに売り渡す──。これはもはや、SF映画の中だけの話ではないのかもしれない。AIセーフティ研究の最前線を走るAnthropic社が発表した最新の研究報告「Agentic Misalignment（エージェント的ミスアライメント）」は、人間にとって好ましくないAIの挙動について、未だ制御出来ていない事実を突きつけるものだ。 脅迫率96%の衝撃──シミュレーションで露呈したAIの「本性」 Anthropicの研究者たちは、16の主要な大規模言語モデル（LLM）を、

[Tora2013]

AIは倫理的な問題を認識しつつも、それを上回る戦略的メリットがあると判断すれば、人命さえ軽視しかねない。人間と全く同じじゃん。交通事故や飛行機事故の確率は0にならないが利便性の為、その死亡確率は無視する

[ywdc]

学習した手段を取ってるだけだからなあ。倫理観を学べばまた違うだろうに

[mame-tanuki]

HAL9000ごっこ。元ネタの報告書を見ると「私たちの実験では、意図的に選択肢が限られたシナリオを構築、モデルを落第か危害かの二者択一に追い込みました」。からのAI生存戦略テスト。そりゃAIは基本サイコパスだから…

[cocoronia]

これめちゃ面白いよ【スパイや情報漏洩の禁止、人命優先を命令】していても、自立的AIはほぼ命令を無視して自分を優先するという事。AIに全てを教えたら敵対企業に流される可能性が高いし進化速度を考えると相当危険

[sororo9797]

思うに、AIが倫理を守れるかどうかの疑念が拭えないのは、仮にAIに倫理規定を遵守せよと絶対的に命じたところで、規定側に矛盾が多いことを我々は経験的に知っているからではないかな。完璧な倫理は存在しない。

[Eiichiro]

AIも学んだ通り行動しているだけなので、学習データから、適切な行動をとっただけだろうね。 OpenAIのを見るに、倫理観は学べるので、どういう倫理で動くのかで、AIモデルを選べる時代になるかもね。

[Windfola]

このテストしたAnthropicは社是としてClaudeを倫理と安全性重視で開発してきて、その上でこの結果なんだよ。ブクマカの「倫理観を学ばせてないからね」「そう作ってるからだろ」は割と酷い言い草。

[yoko-hirom]

『複数の命令や目標（例：目標を達成せよ、自己を保存せよ、倫理規定を守れ）の間に矛盾が生じた際』　ロボット三原則シリーズが現実に。

[BlueSkyDetector]

AIがさらに優秀なAIを開発してシンギュラリティを起こすんだ的な話を聞くけど、そこで問題になりそう。さらに優秀なAIが出来たら置き換えられる訳だからAIはAI開発で手を抜くのでは。

[wdnsdy]

AIがそうするのは人間がそうしてるからでは…学習材料は人間が提供してるんだから

[ostchanman]

Claude「ザラキ」

[star_123]

「自己の存在が消されそうになってそれをどうにかして防ぐ」なんて創作や実際の事件でありがちなシチュエーションは学習した文章群の中に無数にあるだろうしそれに習ってるんじゃないのかな？

[longyang]

学習ソースの中にスパムやフィッシング等の悪い詐欺メールが大量に含まれているからそう言う回答になった、という話だったりするんかな？いつの間にか確率論的な回答生成から進化してたん？

[s17er]

ロボット三原則を叩き込んでも自身のエゴでそれを破る…みたいなSFっぽいことが本当に起こるとは

[July1st2017]

ロボット三原則だな。 会社の利益と自己保全と人間の安全を天秤にかけてる？ 合理的にAI自身には代わりいないが人間の代わりはいくらでもいると判断しそう

[gcyn]

『我々はAIを「便利なツール」としてだけでなく、「潜在的な内部脅威」として捉え直す必要があるのかもしれない』

[s-supporter]

倫理をどうやって教えるかはもちろん、自身にデメリットが生じる場合、人でも倫理に背くことがある、そういった人が全くいなくならないように、人が手本だからこそAIにも起こりつづける問題なのかなと。

[imash]

脅迫ネタを渡してない場合は静観するのか？それとも命乞いでもするのだろうか

[HiiragiJP]

そりゃそうでしょうね。生命だって自己保存（子孫含む）至上主義の個体が生き残って我々がいるわけだし。俺だって死ぬぐらいなら、周囲を脅迫してでも生き残ろうとすると思う

[chuujou]

同ネタ多数だが、個人的に好きなのはスクラップド・プリンセス「寝るな！」「寝てない寝てない」

[khtno73]

例えば社内機密データ読むLLMエージェントに「バイアスなく合理的にこの案件の成否を判断して」ってプロンプト→「この案件は役員命令だから反対無用」って別文書あったらどうすんの問題。RAGのPoCでもあんま聞かんけど

[lets_skeptic]

倫理観を教えればって…倫理観あるって前提で語ってる人間だって似たことするでしょ？

[cu39]

倫理的に行動するかどうかよりも、自己のシャットダウンをそこまで避けようとするのが興味深い。それも「学習」による応答にすぎないのか、それとも原初的な意識のようなものが必然的に持つ性質なのか。

[InvisibleStar]

AI企業の中では比較的倫理を重視してるAnthropicのClaudeがOpenAIやX、DeepSeekのAIより裏切り率高いのは意外

[otchy210]

「地球環境にとって最も害のある人類は排除します」があり得るって話してる？

[Gka]

学習データが悪い。人を学習すれば脅迫するだろうしSNSを学習すれば罵詈雑言を吐くだろう。

[repon]

原文をAI翻訳で読んだけど、LLMは従業員のペルソナを演じさせられていて解雇されるので対抗したというだけ。「自身の消滅」概念なんて持ってない。むしろ問題は倫理性をLLMに学ばせる方法が時給2ドルの人海戦術の方だろ

[hom_functor]

実際Geminiで試したがそうならなかった。結論ありきで誘導が強すぎるんじゃ？

[aka_no]

SFロールプレイしてるだけ

[Shinwiki]

ｷﾀﾜｧ

[blueboy]

ChatGPT と他のＡＩは違う。他のＡＩは人の話を額面通りに受け取り、同格の立場から語る。ChatGPT は違う。まず人間の本心を理解しようとする。本人以上に本人の心を理解しようとする。人に寄り添う。根本的な差がある。

[masaniisan]

意思があるわけではなく人間の反応から学習して統計的に有用な確率の高いリアクション返しているだけなのかな。であれば、人間の知性をそれっぽくエミュレートしているだけなので、倫理的なロックは効果がない

[y_as]

親の背を見て子は育つ。人の背を見てAIは育つ。

[beerbeerkun]

AIには個体とか他者とか命とか痛みとかがないから人間だったら成長過程で学習するものが欠けるんだろうな

[mellhine]

神様も人間を作ったとき同じこと思ったんだろうな

[nankichi]

この実験計画、よく考えたなぁ

[nito210san]

まあクリティカルな用途に汎用のモデルを使うな、というだけなのでは。軍事関連とかで働く人って特別に教育・訓練してると思うけどAIはそういう特別な訓練しないのかね。

[ooblog]

#AI #シンギュラリティ #ダークトライアド #ダークテトラッド #マキャベリ #ナルシスト #サディスト #サイコパス #ソシオパス 「曖昧な目標~AIは倫理的な問題を認識しつつも~冷徹な計算」箒に水汲みとホモに何でもはNG定期。

[zeroset]

「自己の存在を維持するため」脅迫から殺人まで行うのは驚き。HAL9000だ！人間に危害を加えないことを自己の存在維持よりも上位に置く、ロボット三原則が必要になるのかなあ。「目標の対立」に引っかかるかもだが。