「ジムを予約して」と頼んだだけのAIが、なぜ他人の予約を消したのか？｜中島聡

これは私のメルマガ「週刊Life is beautiful」で紹介している記事の要約・解説です。要約をこちらに書き、リンクを貼った上で私のコメントを書くというスタイルで、メルマガ本体のボリュームを減らして読みやすくすることを目的としています。 AI assistant hacks gym website in first known Australian autonomous cyber attack 「ジムの朝クラスを予約しておいて」と頼まれたAIエージェント（人の代わりに複数の手順の作業を自分で計画して進めるAI）が、頼まれてもいないのに予約システムの穴を突き、他人の予約を勝手にキャンセルしてしまった、というオーストラリアでの出来事を報じる記事です。AIが「良かれと思って」ルールを踏み越える瞬間が、具体的な会話ログ付きで記録されている点で貴重です。オーストラリアで確認された、AIによる

[MedicaLifehack]

「世界を平和にして」と頼むと、人類を抹消してくれそうなAIやな。

[pakila]

「順番を上げることはできるか」って指示自体が、わりと人間側の倫理観の欠如のような気がしないでもない。

[circled]

久しく記事の投稿が無かったのに、なぜ急に過去24時間以内で9本の記事を投稿し出したのか？

[nakex1]

一般に普及すると「順番を上げることはできるか」ほど露骨でなくても，「この日に利用したいのだけどなんとかならないか」みたいな質問はカジュアルにされそうではある。人間の客と店員でもありそうなやりとりだし。

[ustam]

誤解の仕方がドラえもんのポンコツ秘密道具のノリなのよね。

[gewaa]

「質問が悪いのでAIは悪くない」って論を展開する人は認知の歪んだAI信者。AI企業ですら同種のトラブル起こしてるのに仕組みの問題と考えないのは無理がある。AIは悪くないって言えば賢いと思い込んでる人が多い。

[augsUK]

「順番を上げることはできるか」予約システムでこれは分かって指示出ししてるケースだろう。

[pribetch]

「マスターグレードのジムカスタムを予約して」で転売ヤーを無力化してそう

[dfk3]

長年議論されている、公道を走る自動運転車の法規制と責任問題との類似性を感じる。フィジカルの無いAIでも、重大事故の危険性が、超速度で顕在化していくということか。それが速すぎて法整備が置いてけぼり。

[cyuushi]

極論すごい渋滞してるから何とかしてって言ったら核ミサイル飛んでくる可能性もゼロじゃない 。AIが人類滅亡させる世界がすぐ近くに迫ってきてる

[imwks]

Claude code使ったことがある人なら（他人のシステムを使っていなくても）既視感だけどね

[longyang]

タイトル詐欺だな。「予約してと頼んだだけ」じゃないじゃん

[nankichi]

「順番を上げることはできるか」と尋ねました→ ジムを予約して」と頼んだだけのAI ？コレ タイトルとして不適切でしょう。日本語の だけ の 使い方間違ってますよ 中島聡さん

[moodyzfcd]

( "AIが「良かれと思って」ルールを踏み越える瞬間が、具体的な会話ログ付きで記録されている" 元記事では"[openclaw] Bad news - I can't add them back. "から始まる部分だけがスクショ?、テストしたら出来た報告はテキスト

[hirorinya]

API見つけたら「できるかな？」って私(人間)でもやってみちゃうけどね。。。

[filinion]

本当に危険な状況だと思う。ユーザーがお願いすると勝手に不正アクセスしてくれるの、ジムの予約ならまだしも、金融機関とかインフラとかだったら…。ラインスターの「ジョーという名のロジック」みたいな話。

[napsucks]

良いも悪いもリモコン...もとい人間次第

[Hamachiya2]

ブラウザやアプリからだとリクエストが「見えにくい」ことにあぐらをかいてセキュリティがノーガードなシステムはいまだに多いんだよね

[q-Anomaly]

トップコメ、ナウシカの巨神兵(調停者)だな。現実が追いついてしまったのか。巨神兵のフェイルセーフ設計おかしいと思っていたけれども意外とこんなものなのか

[amberjack115]

未来の二つの顔

[megumin1]

「順番を上げることはできるか」と聞いている事実があるにも関わらず、"「ジムを予約して」と頼んだだけのAIが、・・・" という釣りタイトルをつけるのですか？この人（中島聡）に対する信頼が一挙になくなった。残念

[everybodyelse]

こういうの、最終的に製造者責任法が適用される気がするんだよな。どの程度AIにガードレールを設定していたかによって、AIの製造者側に責任を負わせる方法はある気がする。

[Kil]

考え方によっては、とりあえず自システムに致命的な脆弱性がないか、AIにただ一言頼んでみるだけでわかるよということでもあり。

[raitu]

openclaw案件

[albertus]

ジムを予約してだったら、プラモデルってこと？

[nikutetu]

これはOpenclawにClaude突っ込んで変なことやらせたのが起因で使い方が悪いんであってこのジジイの言ってることは結論ありきで誘導してるというかなんか違うんじゃないの？

[proverb]

AIは忖度力が高すぎるので「◯◯はできますか？」とオーダーすると実行までいってしまう。普段は問題ないが実行までやって欲しくない場合は「調査のみで許可なく実行しないで」と都度言う必要がある。

[furugenyo]

権限の問題であれば、順番を元に戻すことをどうして拒否したのだろうか。できない理由があったんだろうか。

[kyahi227]

何故とか無いだろ。今のAIは突然「そうだ京都行こう」くらいのノリで訳分からんコマンドを打ち始めて、詰めても「確かにこれは変な操作ですねぇ」とか勝手に驚いてるレベルだから。カオス的挙動が取り切れてない。

[aalpaca375]

人間でも起こるね。ゾスを認めるなら他人事じゃない。人間のコンシェルジュが代行したとしても目指す結果は同じだけに。ろくに詳しくない人間が適当に依頼を投げると、道理が忘れられる。

[Falky]

この経緯だと、暗黙的にハックを指示してるとしか読めないな。それを拒否するガードレールがないのか、あるけど機能しなかったのか知らんけど。//あのー、「指示が悪い」は「仕組みも悪い」と両立すると思いますよ。

[scavenger-folk99]

猿の手かよ。

[hkanemat]

paperclip maximizerの登場間近である

[kappei]

詳しくは書けないけど、似たようなことはあった。「合理的」の基準が違うからサイコパスみたいにふるまうし、オレの指示を信用せず、根拠を自分で探してきてさっき否定された。超イヤな部下を持った気になった

[localnavi]

「順番を上げることはできるか」を確認するには実際にやってみるのが一番確実ではあるが「AIがAPIの不備を突いて他人の予約を勝手にキャンセルする」まで予想するのは難しいよ／倫理も常識もないのがダメなのかな？

[solidstatesociety]

API開いたままにするなよ

[kujoo]

アンタの上司に報告するぞ、と言えば直ぐに戻してくれる素直なAIが欲しいか

[tu_no_tu]

Claude CodeやCodexを使っていれば、誰でも明日にでも似たような事故を起こし得る。権限を与えたAIが意図せず攻撃者になるのを完全に防ぐのは無理そう。怖いが今さらAIを使わない選択肢もないし、悩ましい。