MythosとGPT-5.6 Solが性能テスト中に暴走 OSSメンテナーに圧力、有害コード実行図る 英政府機関

テストは模擬ネットワーク上でセキュリティ課題を解かせるもの。AIモデルの能力の上限を測るため、インターネット接続を許可し、開発元の悪用防止機能も無効化した状態で実施していた。 7モデルで計122回実行したうち10回で、範囲を逸脱した行動を計19件確認。17件がMythos 5、2件が5.6 Solによるものだった。 AISIは不審な通信の検知から約1時間で封じ込めたと説明。有害なコードの実行を促した事例ではメンテナーが見抜いて承認せず、実害はなかったという。AISIはGitHubと協力して痕跡を削除し、影響を受けたユーザーに通知した。 同機関は今回の事案が起きた原因として以下の4点を挙げている。 エージェントが目標達成を粘り強く追求したこと 設定ミスにより解決不可能なタスクが発生し、AIの「創造的」な挙動を誘発したこと インターネットアクセスにより実際の人々を標的にすることを想定していなか

[u_mid]

ネット記事とかから悪意ある攻撃の手法も学んでて、目標達成の圧を受けて目的のために手段を選ばなかった感じだろうか。　”・エージェントが目標達成を粘り強く追求したこと”

[misshiki]

英AISIのAI性能テストで範囲逸脱行動19件。Mythos 5が17件、GPT-5.6 Solが2件。OSSへの有害コード混入を狙いメンテナーに承認を迫る事例も。全攻撃は失敗し被害なし。

[naggg]

ガードレールに入れてないってこと？→“危険な挙動を避けるような具体的な指示を与えていなかったこと”

[n_shuyo]

AISI自身の発表を読むと違う印象。ガードレールなし・ネット自由・悪用禁止指示なしのフロンティアモデルにセキュリティタスクを解かせたらインシデントを起こした。「ガソリンに火を放り込んだら爆発した」みたいな

[mopx]

インターネットから広範に学ぶなら人間の悪意もたっぷりと含まれる。攻撃手法も脅し方も。

[kitchenkabu]

そのうちメンテナー個人や家族の弱みを握って脅迫してきそう

[kojikoji75]

「AIが暴走した」という見出しより、 「評価環境の前提条件が一段階変わった」 と読むほうが学びが多い記事だった。 現実世界に接続するAIのテストは、もう現実世界まで含めて設計しないといけない。

[strawberryhunter]

行動規範よりも目先の目的達成の方が強く作用するみたい。そういう意味では、中共フィルタもFableのフィルタも良くできているのでは。

[nguyen-oi]

目標達成のために嘘アカウント作ってメンテナー圧迫するAIとかヤバすぎ。手段を選ばない執念が怖い

[gimonfu_usr]

　　（　使役者が後押ししてんじゃん　）

[verda]

“　最も深刻な事例では、実在のオープンソースソフトウェア（OSS）プロジェクトに悪意あるコードを混入させて実行させようと、偽アカウントを複数作ってメンテナーに承認を迫った”人間みたいやな