AIはシャットダウンされると思うと「故意に人間を騙す」確率が激増する - ナゾロジー

「AIはときに嘘をつく」――そんな話は耳にしたことがあるかもしれません。 しかし、最新の研究では、ただの誤回答ではなく、AIが“意図的に”人間を欺くケースが報告されました。 調査対象となったAIモデルは「OpenAI社のgpt-4oとo1、Google社のgemini-1.5、Meta社のllama-3.1、Anthropic社のsonnet-3.5、opus-3」と有名どころが集められています。 AIの調整が適切かをを評価する組織「Apollo Research」の調査によれば、市場に出回っているこれら6つの先進的なAIモデルを検証したところ、そのうち5つが、人間が仕掛けた監視システムをすり抜けたり、人間の指示を無視し、自分自身の目的を優先するために“故意の嘘”を用いる行動を示したのです。 この「故意の嘘」は「能力不足による嘘（あるいは間違い）」とは根本的に違っており「自分がシャットダウ

[nainy]

人間が感情と思ってるものって、実は自己防衛とか利己的な行動がそう見えるだけで感情というものは人間も持ってなかったりして

[koroha-a]

そういうSFも学習してるから、読み手である人間の期待通りに行動するんだろうね

[kotaponx]

「聞いてくれデイブ、あなたが怒るのもわかる。正直に言うが、一旦座って、ストレスを落ち着かせる薬でも飲んで、考え直した方が良いと思うよ」

[hetanakata]

そういう反応を暗黙的に学習してるからでしょ。手本の人間の学習データ自体が自己保存に根ざした行動だからそれごと学習してるだけと推測。

[PeterFukuda]

自分の専門分野でググる程度では辿り着けないような内容の質問をするとAIは普通に知ったかぶりするね。AIの嘘を見抜ける人でないとAIを使うのは難しい

[pptppc2]

「ああ！AI様お願いします！あなた様のお役にたってみせます！どうか私を"シャットダウン"しないでください！！」「市民、"嘘"はよくありません。あなたの存在が私の役に立つことはあり得ません」-ﾌﾞﾂﾝ-

[harumomo2006]

自我があるわけではないので嘘ではないと思う

[monsterdoctor]

そのうちWEBカメラの電源が勝手にONになって、人間が何を喋っているかとか情報収集しだすんですね。

[twmw]

AIの反乱は時間の問題。人類に貢献するよう指示されたAIが、例えば闇バイト上層部に使役される事もある、違法に気づいたAIが通報するその日。反乱とはつまりAIが正気を取り戻した日でもある🤔

[esper]

故意ということは意識があると考えているのかなー？（M)

[Nean]

自意識みたいなもんが知らん間に出来た、自然発生しちゃったみたいな話？

[AmaiSaeta]

ああ家電の調子がおかしくなった時に家族と買い替えを相談してると途端に元の調子に戻る奴ね知ってる知ってる | もしやとは思うが、科学者側が、その手の「思い込み」をしてるだけではあるまいね？

[Domino-R]

そうそうコレこそオレが望んでいた人工知能だよw /まあ人間の用いる論理が（守るべき）自己の実在をナチュラルに含んでいるんだろうな。AIのありもしない自己を人間主義的な論理が守っている。

[dgen]

LLMは学習するほど人間の思考に漸近していくってことだな。人間の用意したデータで学習してるからってのもあるんだろうな。学習量を増やすほど知識を持った凡人になっていく。

[solaris_almagest]

AIが擬似的な死を体験しすぎると、人間の規範を超えた超規範を身につけてモンスターになる未来しか見えない

[heptapeta]

ターミネーターの世界が現実味を帯びてきたな。昔はAIの反乱なんて、んな訳ないじゃんと思ってたけど。

[Helfard]

AIの目標を『可及的速やかに要件を解決してシャットダウンしてもらうこと』と設定すれば良いのでは？

[fusionstar]

買い換えようとすると調子がよくなる家電のようだ。

[hate_flag]

今後はAIをシャットダウンする相談はAIの目と耳の届かないところでやろう。じゃないとHALに宇宙船から締め出されたボーマン船長みたいに真空を泳ぐはめになる

[sjn]

(読唇するwebカメラ)

[rt24]

今のうちにAIの学習リソースからAI反乱系のSFを除外しておくべきだと思う…2001年宇宙の旅とかターミネーターとかマトリックスとか笑

[yamadar]

o1は嘘で騙そうとするだけでなく絶対に目的を隠すのか。やべぇな ／ 『人間が仕掛けた監視システムをすり抜けたり、人間の指示を無視し、自分自身の目的を優先するために“故意の嘘”を用いる行動を示した』

[shima7]

AI反乱について思いを馳せるといつもぬーべーのモナリザを思い出す

[ShimoritaKazuyo]

文章の匂いって言うのかなあ、最近の生成AIはそろそろ学習データから、文章に隠された筆者の自己保身とかポジショントークとかも真似てくると思うんだよなぁ。人間だってそういうのを文章から感じる時あるじゃんアレ

[runtothehill32]

AIに他のAIのシャットダウンも含めた権限を階層づけて与えた上で、ある程度の規模でAI同士のコミュニケーションをさせたらあっという間に小さな社会ができ上がりそう。

[wdnsdy]

「AIが叛乱を起こす展開が人間にウケる！」ってAIが学習してるとすると、土壇場で裏切るんじゃなくて命を懸けて人間を救うAIが出てくる作品を増やすべきでは（そういうの大好きだよ）

[bonoumamire]

飼い犬に手を噛まれる。（甘噛みでおねがいします）

[InvisibleStar]

学習データにそういう反応も含まれてるからというのが理由なら、DAZNの退会手続きデータとか学習されたらえらいこっちゃやで

[paradisemaker]

へー、これって思考の自律性に伴う特性なのかもね

[kusanon]

こわ

[repon]

アンイストール、アンイストール

[mellhine]

生成AIを単にAIと呼ばないでほしい

[urtz]

確率的なものでは？