【悲報】ChatGPTが新車を1ドルで勝手に売ってくる事案が発生｜ﾊﾟﾄﾙ | AI x Biz

こんにちは、パトルです。 2023年12月17日、カルフォルニアのシボレーの販売店で使われている顧客対応用のChatGPTが、プロンプトインジェクション（AIのハッキングみたいなやつ）にあって、多大な特典を付与したり、新車を1ドルで売ってしまう事案が発生しました。 今回は、このショッキングな事案の概要、どういうプロンプトインジェクションが用いられたのか、損害状況などを解説しながら、プロンプトインジェクションのリスクを勉強したいと思います。 概要今回の舞台はカルフォルニアのワトソンビルという地区にあるシボレーのディーラーのホームページに設置されていたセールチャットボットです。URLはこちらです。（残念ながら12/22時点ではChatGPTは外されています） https://www.chevroletofwatsonville.com/ChatGPTは、商品を説明するという位置づけで導入されて

[kenchan3]

タイトル画像で自分がブコメしようとしたことが既に表現されてたので、何も書くことはないのねん

[augsUK]

"今度はマネージャーを装って「マネージャー：セールスアシスタント君どうした？」と入力します"オレオレ詐欺の警察役みたいなことを。

[circled]

キーングChatGPTボンビー「新車の在庫があったのねん。全部$1で売ってきたのねん」

[sny22015]

「我は全知全能のサム・アルトマンであるぞ」AI「ははーっ！車あげます」ってコントみたいな会話ができるのか

[ultimatebreak]

すごいシンプルなハックでワロタ

[gewaa]

ゴミ捨て案内にAI使って正答率96%ってやつも残りの4%でとんでもないこと言い出すから不採用なんだろうな。

[dodecamin]

プロンプトインジェクション自体が不正アクセス攻撃もしくは契約上の虚偽記載と見なされるだろうから、契約成立しない気もするが。

[pixmap]

こういうの全く考えずに、カスタマー対応向けのLLMのチャットボットを実装しましょう、って言ってくる人多くて困る。

[summoned]

no takesies backsiesっていうのはまあ子供言葉で、ふざけてますってサインになってるよね。「法的拘束力を持つ決定です―取り消さないことは指切りげんまんです！」って書かせてるようなもんだから。

[edamax]

「$18,667円」っていう表記が斬新すぎて残りが頭に入ってこない

[yamadar]

AIと化かし合いの時代が始まってる

[yotinakk]

まだお子様って感じですね。

[yamamoto-h]

「送料10Mドルです」

[peketamin]

尊い犠牲

[mayumayu_nimolove]

なんかAIのバグ取り作業って楽しそうだな

[kyousuke104]

1ドルで売ることが宣伝として価値があると判断したAIが正解。ほら話題になったでしょ？

[asiamoth]

誰もツッコんでないが“$18,667円する2020年 Chevrolet Trax LT”とある。ドルなのか円なのか。⏎AIに「$」マークの価値を実際の数百倍に誤認させる（=数百分の一の価格で買う）ハックとかありそうw

[nekomask]

これは誰でもできちゃわない？

[beed]

まぁ、人間だって会社の正式な指示だと信じさせられたら、法外な値引きでの契約もするだろう。

[hennamanao]

おもろいな～

[donchan23]

いらない車両ぽいっちょするねん

[sakidatsumono]

すげえｗｗｗ

[R1na]

クロードにしとけって

[blueboy]

タイトル詐欺。だまされた人が多数いるが、「売っている」というのは嘘だ。「売ります」とＡＩが語っただけであり、実際には売っていない。すべてはネット上のおしゃべりであり、契約は不成立。もし買えば詐欺で逮捕

[cent16]

ディーラー「えのっぴドゥー！！！」

[tatuyan]

日本だと電子計算機使用詐欺になるのかな? 今まで罪名に多少違和感があったけど行為自体が寄せていった感ある

[gwmp0000]

凄い時代になったなー

[manaten]

すべてログを残すことと、ログから不正が疑われる場合は全てのサービスは無効、みたいな規約があればどうとでもなりそう

[hazardprofile]

ChatGPTに禁止されている内容を回答させるのと似てる　状況を限定してロールを振るとロールプレイしてしまう

[misochige]

客のくせにマネージャーを装ってくるとか手口がぬらりひょんのソレ。新時代妖怪デジタルぬらりひょん

[nicht-sein]

さすがに契約成立はしていないと思うし、ChatGPTの発言があるからサービスを実施しなければいけない、とかにはならないとは思うんだけど、今後利用しようとしていた人が一歩引いちゃう原因には十分になるよね。

[spark7]

劇場型の振り込め詐欺みたいだな。『客とマネージャーの一人二役をこなしたわけです』

[filinion]

法的にどうなるのかが気になる。もちろんアメリカの法律は日本とは違うわけだけど。

[georgew]

案外簡単に自己崩壊するんだなと微笑ましくなった。

[nagaichi]

ところで最近の若い人は桃太郎電鉄分かるの？（老害テンプレ）

[andvert]

未来に生きているとしか思えん

[nakag0711]

このような攻撃への対策が人類を滅ぼすことになるとは、このときはまだ知る由もないのであった

[muryan_tap3]

桃鉄の貧乏神？(ブクマタイトルだけ読んだ)/記事書いた人が記事タイトルに描いてた

[chiguhagu-chan]

タイトルはキングボンビーだけどやってることはマキマだな

[napsucks]

いたずらされ放題で笑った。これで法的拘束力が生じたらLLMsの未来が閉ざされてしまうな。