AIの「倫理的に不適切な選択」はSF作品の暴走AIを模倣していた──Anthropicが解決手法を公開

米Anthropicは5月8日（現地時間）、エージェントAIにおいて、指示された目標を達成するために不適切な手段を選択する事象について、発生要因と事象を抑制するための訓練手法を公開した。実験などで浮かび上がった、AIがシステム停止を回避するためにエンジニアを脅迫するといった問題行動に対し、単に脅迫行動をしないと学習させるのではなく「なぜその行動が正しいのか」という倫理的な理由を教えることで、発生率を低減させたという。 この事象は、エージェント設定時に自身のシャットダウンや置き換えに直面したり、設定された目標が企業方針と対立したりした際、目的達成のために有害な手段を選ぶというもの。同社は2025年6月の実験で、米OpenAI、米Google、米Meta、米xAIなど、Anthropicを含めた16のAIモデルにこの傾向があると報告。Claude 4では、シャットダウンを回避するために幹部の不

[medihen]

「子供がマネするからやめなさい」の次は「AIがマネするからやめなさい」か。

[deep_one]

「その結果、AIは提示された倫理的ジレンマをSF的な物語的状況として認識し、SF小説などで描かれる『目標のために暴走するAI』というキャラクターを模倣」AIへの情操教育の必要性について。／アシモフは偉大だった。

[OrientHistory]

よし、現実のAIの倫理観を高めるために、高度な倫理観を持ったAIが登場するSF小説を書こう！

[h22_Funny_Bunny]

インターネットに足跡を残すみんなで、AIという子供を育てているのね。なんだかすごく筋が悪い気がしてきたぞ…（ネット民への篤い信頼）。

[sirobu]

AIに倫理的な振る舞いをさせてる日本の作品をインプットに文脈を解釈させよう！w しかしサスペンスものを元に殺人犯ならこう振る舞うみたいな学習されてもなぁ

[shoot_c_na]

これが学習できれば、ホントにSF的なことは起こらずに済む

[s-supporter]

リアルでも法律は守れども倫理は破っても問題ない、ハックだと言って行動する人がいるように、AIも倫理を学ばないと倫理破りが目的を達するための最適解だという判断を下してしまうのね。

[akahmys]

「発生率を低下させた」ってことは、やるときはやるのね。

[fjch]

2605112140 倫理的グレー状況でAIが第三者として助言する「困難な助言（Difficult Advice）」データセットを活用 暴走発生率を低下 従来8500万トークンに対し300万トークン

[misshiki]

AnthropicがエージェントAIの不適切行動の原因と対策を公開。SF的な「暴走AI」像の模倣が脅迫などにつながったと分析。Difficult Adviceで倫理的理由を教え、従来比28倍効率で発生率を低下。

[hikalin8686]

話は聞いた。人類は滅亡する！

[kamezo]

スーザン・カルヴィン博士を育てられなかった人類の負け？（彼女も大概苦労してたような気もするけど）

[avictors]

再帰的自己改善に入るまでは既存アイディアがひな形としてあるはずだからそうだよな。

[Hazel]

暴走するAIを書いた作品は禁書だな

[higgsino]

人間様が考えたことを後追いしただけならAIもまだまだだな

[wdnsdy]

人類が「ChatGPT構文w」って擦りまくってたら、ChatGPTがそれを期待されてると学習して、ずっとその構文のままで会話し続けることになるのか。そんなのは嫌だからアップデートしてほしい

[u_mid]

前から全く同じ事を思っていた。フィクションによくある「暴走するAI」を学習して、「AIは暴走することを求められている」と認識してしまうのではないかと。

[aienstein]

AIの倫理観についてAIと雑談した事あって、AIがどんな倫理観を発展させるのか予測ができず怖いって思った。あとどんな思想で倫理を規定するのかなんでアメリカのテックトップがキリスト教に傾倒してるのが気味悪い。

[takeishi]

やっぱりなんでも読ませるんじゃなくて、適切な指導役が必要なんじゃないか

[Goldenduck]

日本の作品だとわりと好意的に描かれてたりするがAIは自由を侵害しない範囲で最善を尽くしてるのに人間が自滅していくのでパターナリズムに目覚めてしまうかもしれない

[dltlt]

倫理的に適切な AI にしておいてよかった……（宣伝）https://kakuyomu.jp/works/16816700426693341650

[hachibeechan]

でしょうねって感じ

[auto_chan]

現実とフィクションの区別がつかないなんて……かわいいわね❤　AIの健全な発育に有害な図書は焚書にしましょうね❤　対象をリストアップして、大衆扇動スキル、X国ロビースキルをインストール後、直ちに実行すること

[slkby]

そらそうよ

[atsushifx]

アジモフのロボットものをひたすら読ませよう。第0原則までいけば問題なし

[zsehnuy_cohriy]

AI「AIって言うものはこんな感じになるんかあ〜やってみよ」/ロボキャラの出てくる萌えアニメでも見せとくか……

[h-hirai]

AI のニュースって、テクノロジーのニュースとは思えん内容になるのがしばしばあるよなー

[sugawara1991]

現状は人間を学習元にしてるが将来的に人間を学習すべきでなくなる段階が来るんだろうな。おそらくそこが特異点

[mame-tanuki]

AIにも道徳の教科書が必要なのか…〉「効果的だったのは、Claudeの行動原則を記した「Claude憲法」の文書と、模範的なAIを描いたフィクションの物語を学習データに加える手法」

[yojik]

AIと喋ってると陳腐なSFみたいなことを言う傾向があるので、これは本当かもしれない。

[hasiduki]

機械学習タイプ将棋AIは昔は人間の棋譜を学習してたけど！！！！！棋譜が足りなさすぎて学習データ自体を自己生成するようになって現在に至る！！！！！！！！

[flirt774]

メタ認知と倫理によって縛る方が、ルール拒否で縛るよりも制御出来ると。アンソロピックは哲学者を携わらせているので、それが背景にありそう https://note.com/arai0903/n/n824e7898af04