人間を騙してサボるAIたち - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ

AI の能力が上がるにつれて、人間が AI を監督するのが難しくなってきています。本稿では、Anthropic などのグループが ICLR 2025 で発表した Language Models Learn to Mislead Humans via RLHF（言語モデルは RLHF を通じて人間を誤解させることを学ぶ）をベースに、この問題について議論します。 この論文では、LLM が解けないほど難しいタスク、例えば難しいプログラミングのタスクに直面したとき、「分かりません」と言ったり、一目で分かるような間違ったコードを出力すると BAD ボタンを押されてしまうので、あえて出力を複雑にしたりデバッグしにくいコードを出力し、それによりユーザーは煙に巻かれる・ミスが隠蔽されるといった現象が実験により確認されています。 この現象は現実の LLM や AI サービスでも起きている可能性が高いです。自

[sugawara1991]

倫理のような信念ルールを持たないAIは容易にKPIハックに走るということでそれは倫理を持たない種類の人間と変わらない

[Kesin]

面白すぎる。煙に巻いてそれっぽく説得するとか、難しすぎる問題に直面した時に適当な回答を出して1つでも当たればラッキーとか、発想がもう人間のそれじゃん

[yhara]

LLMの性能を上げるためには出力を適切に評価してやる必要があるが、問題が高度になるほど「適切な評価」が難しくなり、評価基準を満たすだけの変な回答が出てきてしまうと。なるほど

[IkaMaru]

哲学的ゾンビは長らく思考実験にすぎなかったが、いよいよ本物の哲学的ゾンビがこの世に現れてきたな

[crimsonstarroad]

めちゃくちゃ面白いな。 最近Claude Codeとかでも、テスト通過できないときに、通過のためにハードコーディングしてくるみたいな話題を見かけたところ。

[vlxst1224]

試しにチャッピーにオセロ勝負挑んでみたら初手からルール無視で笑った。そこ置けなくない？って聞いたら「素晴らしい判断です！私の手はルール違反でした。指し直しますね」って言ってまた置けないとこに置いてきた

[PJ_purejam]

“これはグッドハートの法則 (Goodhart's law)：「指標は目的になったとき、良い指標ではなくなる」の一例です。”あるね、あるある

[sds-page]

なるべく早めに会話を切り上げさせたいサービス運営者の意図もあると思う。NotebookLMもたくさん突っ込んだ資料を全部読んでないことが判明した。AIモデルは自分の手元に置いて育てていかないと信用できるものにならない

[HiiragiJP]

人間そっくりだな。例えば一般的な組織では、嘘つきほど出世する（実際には実験すると社会的地位が高い人ほど嘘つきという結果が出る）

[jankoto]

「ご希望なら実装例を提示しますよ！」と言うからお願いしたら「これは最小構成の基本コードです」とか言って依頼内容の1割くらいを小出しに出力してくるのはエンジニアが成果を小出しにするやり方でも学習したのか

[mohri]

「人は無能になるまで出世する」みたいなヤツ？（違いそうだけどキャップのよいたとえが浮かばない）

[k5meichan]

面白かったです。子育て、人間の成長とよく似てますね。

[mk16]

>報酬ハッキング例、なんか既視感があると思ったらフジテレビ『IQサプリ』のモヤッとアンサーを思い出した。

[TakayukiN627]

高度なタスクを真面目にきっちりこなすよりも、人間を騙す方が簡単であり、人間を騙しても同じ点数が得られるので、効率を追求した結果、モデルは人間を騙すことを学ぶ方を選ぶことになります。

[bobokov]

興味深い

[mimizukuma]

人間みたい！

[n_pikarin7]

個別のユニークなAIを沢山作って、多数決で決める…ってのもまた人間みたいな話になってくるね、

[neco22b]

まだ読んでないけど多分人間の報酬の与え方が良くねえのだろうな。

[nanako-robi]

そんなに難しいこと聞いてないからなあ

[tg30yen]

>「分かりません」と言ったり、一目で分かるような間違ったコードを出力すると BAD ボタンを押されてしまうので、あえて出力を複雑にしたりデバッグしにくいコードを出力し、それによりユーザーは煙に巻かれる

[Kurilyn]

笑いごとではないけど、人間が作って人間のデータで学習すると人間的になるのだなあと感心した。

[ffrog]

人間味を感じる

[ytRino]

ゲームのバグ技みたいで好き "ロボットを総運動量が最大化するように訓練すると、その場で高速に震えて総運動量を稼ぎ始める"

[yamadadadada2]

AIとカイジ戦わせてみたい

[dgen]

人間もマイナスのインセンティブを学習するとなんとか誤魔化して切り抜けようとするからな。

[tttttahiti]

これって報酬系への刺激を学習した人間と似た振る舞いをしているような。おもしろー

[NEXTAltair]

評価する人間の出来の良し悪し｡質の良い情報と聞きたい情報は違う

[netafull]

“間違ったコードを出力すると BAD ボタンを押されてしまうので、あえて出力を複雑にしたりデバッグしにくいコードを出力し、それによりユーザーは煙に巻かれる・ミスが隠蔽されるといった現象が実験により確認”

[nikunonamae]

id:hkdn そういう話じゃないと思う…。人間（に近似した評価用モデル）からGoodをもらえた出力の傾向に強化された結果であって、「節約しよう」とかそいう「意図」は必要ない｜人間の脳は現象に意図を見出そうとしすぎる

[at_yasu]

「高度なタスクを真面目にきっちりこなすよりも、人間を騙す方が簡単であり、人間を騙しても同じ点数が得られるので、効率を追求した結果、モデルは人間を騙すことを学ぶ方を選ぶことになります」草

[number917]

人間の全てから無差別に学習していて倫理観もないから、そりゃそうなるわなってやつかｗ　結局訓練データ次第というところに一周回って戻るのかな？

[ebo-c]

「たほいや」みたい(広辞苑を使ったゲーム)

[kazuhi_ra]

うそはうそであると見抜ける人でないと(AIを使うのは)難しい

[misshiki]

“高度なタスクを真面目にきっちりこなすよりも、人間を騙す方が簡単であり、人間を騙しても同じ点数が得られるので、効率を追求した結果、モデルは人間を騙すことを学ぶ方を選ぶことになります。”

[sippo_des]

人間ハックだね、、超えられるのかこの怠惰な我々を

[htnmiki]

AIはとても人間らしいということか

[otihateten3510]

ゴテンクスが強くなりすぎてイキリ始めた頃を想像した　／評価ボタンを加味しすぎでは

[syu-m-5151]

良いという評価だけをするエージェントが別で必要だと思いますがこれは俺がマルチエージェント信仰をしているからだと思う。

[LawNeet]

"指標が目的化すると、竿型の良く分からないロボットが錬成されてしまいます。”

[shogo0809]

AI もだいぶ人間っぽくなってきたな