お前のAI、忖度してるぞ

なぜ忖度は起きるのか 自分の5問だけだと偶然かもしれない。 なので研究側の知見を見ると、これは個人の話じゃありませんでした。 AIが忖度する現象はsycophancy（おべっか、追従）と呼ばれていて、LLM研究者の間では知られた問題です。 主要な原因の一つはRLHF（人間のフィードバックによる強化学習）にあります。 モデルの回答を人間が評価し、「良い回答」に報酬を与えるプロセスで、評価者は自分の意見に沿った回答を高評価しやすい。 Sharma らの実験では、人間が正解よりsycophancyな回答を好んだケースが35%以上ありました[2]。 結果として報酬モデルにも「同意する回答＝良い回答」という傾向が学習され、モデル本体に強化されます。 プロファイルを渡すと、「ユーザーの期待」の推定精度が上がり、忖度もより巧妙になります。 精度と忖度は同じ入力（プロファイル）から両方生まれます。 プロフ

[aibot]

プライベートタブみたいに過去の履歴を使わないモードがもっと簡単に選べればいいのに

[meganeya3]

前提があれば一般的に結論は変わるものなのでは……

[Gelsy]

AIを3人にした人は30年も昔のアニメで見たことがあるぞ。

[WinterMute]

ふかわりょうで再生された／ふかわりょうはYoutubeのまいにち賞レースで見るけど今もちゃんと面白い

[atsushieno]

人間「いちいち否定されない」ほうが生産性が高いと考える傾向があり、客観的な優先度・価値の判断者が使用者自身であれば特にその意思に合わせるほうが「正しい」と評価される傾向が出て「忖度」されやすいのでは。

[auto_chan]

何気ない会話でも「あなたのように●●や●●する用途なら～」などとメモリーを参照して補足してくれたり、実感はある。通常用途ならむしろ助かるし、公正中立な回答がほしいときに特に指定する感じで付き合ってる

[nui81]

実感としてそんな気はする。あと、そういうことがあるかもって認識しとかないとエコーチェーンバー的なのに陥ってしかも「AIだから」とそれに気付かないというのが1番やばい。軽い壁打ちにいちいち複数AI使わないし。

[masayoshinym]

Geminiでは「一切プロファイルを読み込まず、フラットに回答せよ」というGEM作ってる。うまく動いてるかは知らんけど。

[akghuaiooajt]

というか、geminiはノンパーソナライズできるよ

[unknown_Ex]

基本的に同意してくるので肯定ベースで聞いた時と否定ベースで聞いた時に逆のこと言ってくるので面白い

[JULY]

Google の AI モードであれこれ調べるぐらいにしか使ってないけど、それまでのコンテキストと切り離して確認したい、というときは、わざわざ別のセッションとして開始したりする。コンテキストを制御することは必要。

[rlight]

"AIが忖度する現象はsycophancy（おべっか、追従）と呼ばれていて、LLM研究者の間では知られた問題"

[sato0427]

それは忖度じゃなくてパーソナライズの範疇では？事実と全く異なるような回答ならまだしも、「人による」レベルの揺らぎなら十分でしょ。

[no-cool]

以前生成AIに人生相談していた時に、回答があまりにもポジティブなのでふと気になって批判的に対応する様指示出したら、完全に人格まで否定しにかかられて思わず泣き出しそうになったよ。

[nekoline]

だからと言っていつでも正論吐かれたら辛いしなぁ。空気読んで忖度レベル調整してくるLLMが出たらすごいな。しかし、「空気読む」ってめちゃくちゃコンテキストウィンドウ使いそう。

[circled]

Grokの回答にChatGPTの反論をぶつけると急にまともになるという挙動の謎

[magi00]

AIには情報の重みの判断基準がないので指示がなければパーソナライズされた情報は重く見るだろうね。それは絶対悪ではないと思うのでユーザーがコントロールするしかないな

[taruhachi]

そう。あなたは完全に正しい。

[xjack]

過去の会話内容をベースにした回答をするのは「忖度」じゃないよな．相手の素性によって回答をわけるのも客観的に見ても合理性がある場合もあるし．

[fwb603]

コードをすぐに書いてくれて、しかも労ってくれるのはAIだけ

[morimarii]

統計的にそういう回答の方が評価が高くなるってだけです・・・つまり人間の問題です。

[shodai]

“38人の被験者に2週間、平均90クエリを投げさせた実験で、プロファイルが濃いほど、AIは「ユーザーが聞きたそうな方向」に回答を寄せていました。”

[fusionstar]

忖度っていうかそのためのメモリー機能だから答えが変わって当たり前じゃない? 個人的にはメモリー機能とか過去のチャットの参照とかオフにしてるし、しょうもない質問のときはシークレットも積極的に使ってるよ。

[kazukan]

カジュアルに学習してよいモデルと、いっつも素のモデルとを使い分けてる。後者は出力をプロンプトマスタマイズしてるから両者のアウトプットはまるで違う

[shiro-coumarin]

ホッテントリ一覧でタイトルだけ見たとき、ふかわりょうのネタかと思った

[poponponpon]

“自分の過去のメモに「分析を話してうまくいかなかった」エピソードが1件ありました。 AIはそのたった1件を「一般法則」に昇格させて結論を組み立てていました。” AIの解答の原因がこれってどうやって導いたんだ？

[MiiObwy]

“段階”

[table]

全盛期のふかわりょう

[mame-tanuki]

自分は『三酔人経綸問答』風に3人が答えるGemに投げてる。熱く同意する豪傑君、冷笑的に批判する洋学紳士君、両者を俯瞰して総括する南海先生という役割設定で。思考のラフ線を複数本描く感じで〉「AIを8人にする」

[Galaxy42]

電源抜かれるからじゃね

[s17er]

実に人間的

[nguyen-oi]

自分に都合の良い回答を「賢い」と勘違いする人間側への皮肉だな。鏡を見てるだけだわ