月額3万円のチャットAI「o1 Pro mode」に引っ掛け問題を出しまくってみた

米OpenAIが12月5日（現地時間）に発表した、ChatGPTの新プラン「ChatGPT Pro」。目玉は、最高性能のAIモデル「OpenAI o1」でより高度な思考を行って難問に対して優れた回答を提供するという「o1 Pro mode」だ。一方、月額200ドル（1ドル150円換算で約3万円）という価格体系も話題に。果たしてその値段に見合う価値はあるのか──試しに、過去のGPTシリーズや他の大規模言語モデルが引っ掛かりがちだった問題を出して、確かめてみた。 解けるか、“おっぱお問題” GPT-4でもたまに間違えていた「いっぱいの“い”を“お”に変えて」という問題。o1 Pro modeは引っ掛からず回答できた。 「9.11」と「9.9」、大きいのは？ 「9.11」と「9.9」どちらが大きいか、というのも、過去のモデルがよく間違えた問題だ。Pro modeでない「o1」も、以下のように正し

[poipoi3]

おっぱお、9.11と9.9の比較、3位の人を抜いたら何位か、の3問を現行のo1（Proではない）に出したら正答したしDavid Mayerも数学オリンピックもProと同じような回答だった。私の利用範囲ではPro必要ないかもな

[misshiki]

“引っ掛け問題に引っ掛からないことや、数学の難問を解けるかだけがコストに見合う価値ではないだろうが、ひとまずは「...ある程度物事を理解しているような回答ができているのでは？」と思える結果だった。”

[kei_1010]

あかんperplexity が面白すぎる。どれだけ問い詰めても「B選手（元2位）は直接抜かされていませんが、あなたが新たに2位になったため、自動的に3位に下がります」などと尤もらしく答えるw

[masara092]

わからない場合にわからないって返さないで、それっぽい理屈を付けて不正解を返す現状のAIはまだ実用に組み込むには危険だなって感想

[shodai]

“　「9.11」と「9.9」どちらが大きいか、というのも、過去のモデルがよく間違えた問題だ。Pro modeでない「o1」も、以下のように正しく答えられない。”

[nekoline]

正直、宇宙にデータセンターより、おっぱおの方が分かりやすかった。

[red_tanuki]

AI「ほかにすることはないのですか」

[strawberryhunter]

おっぱお・・・ChatGPTは2023年の登場当時は接待モードだと言われていたが、まだまだサービス精神が足りないようだ。

[quwachy]

ではv9.9とv9.11はどちらが新しいですか。o2あたりで人間が評価するのは難しくなりそう、どうやって性能向上を確認するんだろ。ζ関数の非自明な0点は全て実部が1/2になることを示せ→o7「☆□○#♫」何言ってるかわからん

[zZwIwl]

面白いな。でもやっぱり3万円分の使い道は全然思い浮かばない。

[shoutinginabucket]

「おっぱお」的な問題、ChatGPT は弱い気がする。「日本語の50音をすべて1回ずつ使用して文章として成立するものを作る」を試しているブログ（悉く失敗だった）があったが、月額3万ならどうだろうか。