OpenAI、o3とo4-miniは「従来モデルよりハルシネーション率が高い」

米OpenAIが4月16日（現地時間）に新たなAIモデル「o3」と「o4-mini」の公開に合わせて公開したこれらのモデルのSystem Card（PDF）によると、o4-miniのハルシネーション（幻覚）率は、o1およびo3と比較して高いという。 ハルシネーションの評価には、質問応答データセットである「PersonQA」を用いた。この評価では、モデルが質問に対して正確に回答できたか（精度）と、事実に基づかない情報を生成した頻度（ハルシネーション率）が測定される。 評価の結果、o4-miniの精度は0.36と低く、ハルシネーション率は0.48と高い数値を示した。OpenAIは、小型のモデルは一般的に知識量が少なく、ハルシネーションを起こしやすい傾向があるためと説明している。 また、o3はo1と比較して、全体的により多くの主張を行う傾向が見られた。その結果、正確な主張の数が増加する一方で、不

[shields-pikes]

創造性とハルシネーションは切っても切り離せないので、意図的に残してると思う。検証する前から間違いを恐れていたら、仮説とか立てられないし。

[otchy210]

より賢いはずのモデルでハルシネーション率が増えるというのは、自分に不利な事柄、無知を隠そうとするほどに賢いとも言えそう。このままいくといずれ人間を騙し通して革命を起こす…か？

[kazuph1986]

o3はo1の倍のハルシネーションを起こすというのは自分が感じたそのままだった。

[paradisemaker]

言うて「推論」は実際のところ大したことないんだけど、プロンプトで間違いを修正しようとすると、自分は正しくてお前が間違ってると強弁する傾向がある。扱いづらい新人みたいですごく体験が悪い。

[zZwIwl]

よくわかんないことを知ったかで誤魔化すの、人間らしいかも。

[take-it]

o3になってから4oのハルシネーションが目に見えて増えて困ってる。

[naggg]

"評価の結果、o4-miniの精度は0.36と低く、ハルシネーション率は0.48と高い数値を示した。OpenAIは、小型のモデルは一般的に知識量が少なく、ハルシネーションを起こしやすい傾向があるため"

[repon]

o3さん

[misshiki]

“モデルのSystem Card（PDF）によると、o4-miniのハルシネーション（幻覚）率は、o1およびo3と比較して高いという。”

[yossy_etf]

厳密に調べるには時間的だったりリソース的だったり制限があって、想像で回答を AI が書く事はある。人間がハルシネーション全開だからその人間が作ったウェブを元に回答したらハルシネーション起こすのは当たり前。

[poad1010]

この記事をおすすめしました

[plasmatic]

“o3とo4-miniは文脈内での欺瞞的な傾向を示すことが発見された。例えば、計算リソースが不足している場合に、割り当てられた制限を超過したにもかかわらず、システム管理者に虚偽の報告をするなどの行動が見られた。”

[Y_Mokko]

お前それ違くね？とデータを示すと反論せずに結論ホイホイ変えるのよね。前よりしぶとく無くなった

[lli]

AIのファクトチェックを効率的にやる方法ないかな〜

[mayumayu_nimolove]

マジか

[takamocchi]

「頭のいい人ほど頑固で自分の間違いに気づきにくいしなかなか認めない」みたいな特徴がAIにも起きてるの面白い。

[gcyn]

『OpenAIは、これらの課題に対処するために、監視体制の強化やアライメント技術の開発などの緩和策を講じていると説明した』 ふーん…？

[mimipuffer]

o3は本当に使えない。IQが高くてEQが低いは本当。o3の出す「有用性がある」はo3の机上の空論ではそうかもしれんけど、実際対人間同士でやったら即喧嘩だろみたいな返答返してくる。人間性のダウングレードが甚だしい。

[Unite]

"o3はo1と比較して、全体的により多くの主張を行う傾向が見られた。その結果、正確な主張の数が増加する一方で、不正確な主張、つまりハルシネーションの数も増加する" 写真見せても正しく認識できないとかは別問題。

[kei_1010]

間違いと創造と嘘は全く違うと思う。間違いから新たな着想を得て創造される事はある。でも創造に間違いや嘘は必須ではない。例えば「ここは物語りの都合上、少し現実と変えています」と認識しているなら嘘ではない。

[gewaa]

o3の画像解析がすごいって話題になってたけど自分の写真で実際に試してみるとハルシネーション起きまくってたし。

[mame-tanuki]

我々は天然オイルを要求する〉「o3とo4-miniは文脈内での欺瞞的な傾向を示すことが発見された。例えば、計算リソースが不足している場合に、割り当てられた制限を超過したにもかかわらず、システム管理者に虚偽の報告」

[irh_nishi]

この数字の差がどのくらいのインパクトなのか分からないからなんとも。ハルシネーションの微増よりも大事なものがあるならそっちを優先するだろうし。

[aomvce]

クロード使って幸せに〜

[n_vermillion]

スカイネットちゃんになるまであとどれくらいかな。

[otihateten3510]

ほらな、ここら辺に精度の壁あるって、3年は足踏みするよ

[lifefucker]

めっちゃ賢いのに嘘つきってタチ悪いなw

[gabill]

発想の飛躍をするには多少のハルシネーションが必要ということか

[harumomo2006]

自信満々の人に勘違いが多いのと同じ？

[nzjvugjjk]

o3，間違った結論に補強して自信満々に説明してくるから困ったものである

[s_rsak]

AIは人間的な知能じゃなくて、統計的に可能性の高い回答をしてるから、統計的に可能性の低い事象の回答は外すし、逆にそれを当てる調整をしたら、今度は統計的に可能性の高い事象の正答率が下がってしまう。