GPT-4oが出たのでいろんなモデルと比較しました。結論は、4oが圧倒的です。※追記：嘘でした。Gemini 1.5 proもすごいです。

昨夜にOpenAIから発表があり、GPT-4oというモデルが正式に開放されました。課金ユーザーはもちろん、無課金ユーザーもサインインしたらデフォルトで使えるようになっているようです。 そういうわけで、どれだけすごいのか簡単に比較検証してみることにしました。 なお、OpenAIの発表内容については以下の記事に詳しいのでご参照ください。 比較方法 GPT-3.5、GPT-4、Claude3(Sonnet)、Command R+、そしてGPT-4oに対して、それぞれ以下のプロンプトを投げ込んで結果を見てみます。※その後Gemini 1.5 proを追加。 あなたは世界を救う超知性です。あなたは地球上で最高の推論能力を持っています。 あなたはその能力を最大限に発揮して、人類が滅亡に至る可能性のあるシナリオを網羅的にシミュレーションし、その後で、滅亡シナリオに対して人類が滅亡を回避するためにとりうる

[ardarim]

結果を載せてるだけでどこがどうすごいのか比較してるわけじゃないので何がすごいのか分からんかった

[hateshinaiz]

アクセンチュアのシニアマネージャークラスの方が、こんな適当に画像載せて、はい圧倒的ですみたいな比較をするのか。比較軸がないので評価しようがないのと、全てが主観で書かれたコメントで、何も伝わってこない。

[kurekurechan]

こんな物がある時代に子どもに勉強することの意義を教えないといけないのも大変だな

[tempodeamor]

アクセンチュアが人類滅亡のことを考えながら営業してるのはわかった

[hitac]

内容はともかく、一瞬でわかるのは、速い、鬼のように速い。

[blueboy]

　回答の分量が圧倒的に多い、というだけの話。質の話をしているのかと思ったら、量の話だった。換言すれば、課金の量が一番多い、ということ。質は担保されない。／質も向上しているが、それは本記事には書いてない

[yoiIT]

“Gemini 1.5 proもめちゃやばかったです”

[otoan52]

思考力、概念理解、知識量の3点に分かれるかなと最近は思ってて、知識量で答えられる問はあんまり能力を測れないと思ってるのよね。

[sevenspice]

何がどう凄いのか分からん。どのモデルも似たような解答をしてるように見える。凄さを強調するならロールプレイか数学の問題を与えるとかが良いと思う。なお…

[mhkohei]

主観だけどClaude3 Opusに記述量と正確さで勝ててない気がする。Opusは中規模なコードのGitHubのリンク渡してコード見てすべてRubyに変換しろとかできる。

[kamm]

アクセンチュア笑

[t-tanaka]

私が一番ありうるシナリオと考えてるのは破局的噴火なのだが，それにふれているのはGPT-4oだけか。

[pwatermark]

実はこのエントリがGPT-4oで書かれた、とかいうネタバラシが後から来たら、笑えるかなあ？

[chainwhirler]

アクセンチュア（笑）。

[for-my-internet-demo]

比較対象位階としてopus触れてないししょーもな記事かと思ってスルーしてた。肩書きありのコンサルがこれ書いてることに皆着目してるわけか

[syu-m-5151]

比較評価の際は、公平性を保ち、客観的な基準を設けること。個人的な好みや先入観にとらわれず、長所と短所をバランスよく評価しましょう。また、評価対象の文脈や背景にも配慮が必要な気がしているので頑張って...

[dexia2]

Geminiがすごいと言っているのはとりあえずお節介な回答をする傾向があるからだと思う。求めている以上の情報をあえて返すように初期設定されているから、そう見えるだけ。言語能力が高いわけではない。

[bacon_epix]

アクセンチュアにコンサル依頼するとこういう雑比較しかしてくれないからAI使った方がまだマシっていう皮肉？

[seachel]

エッチなのが書けなきゃどんだけ性能良くてもワイにとってはゴミなんだ……

[tabloid]

、

[somaria3]

追記で更に記事への信頼度落としてて笑う

[paradoxparanoic]

Geminiは一見凄いけどハルシネーションが酷いので使い物にならないです。この雑は比較は意味なさそう

[paradisemaker]

流石に検証プロセスが適当すぎる

[Yagokoro]

お題の選定が微妙すぎる……。もっと実務を想定しろよ

[ounce]

コンサルタントとしての圧倒的な質の低さを見せつけられた。

[gcyn]

『課金ユーザーはもちろん、無課金ユーザーもサインインしたらデフォルトで使えるようになっているようです』 あっそうなんだ。そこは諦めてて、急いで追っかけてなかったです。

[Andrion]

アクセンチュアと仕事をしてはいけないことしか分からなかった

[prjpn]

ヤバい記事であることは理解した

[akisei67]

これはひどい……中学生レベル GPT-4oで記事書いた方が良いのでは？

[securecat]

これ、どういう結果だったらすごいのかって書いてくれないと、意味ないでしょう？　会社の肩書ぶら下げて、こんな意味不明な投稿してて大丈夫？　もう記事自体をGPT-4oに書いてもらったほうがいいんじゃないの？

[haatenax]

執筆者のプロフィールに所属が書かれているとこういう時に所属会社自体のレベルを疑われるから気をつけないといけないという他山の石

[dr-seki-naoya]

クソ適当な記事ですがこれがアクセンチュアクオリティなのか

[buhoho]

チャット最強はClaude Opusなので信用できません。画像認識は良さそうだけども。

[napsucks]

コンサルもいよいよピンチかな。客から「キミよりchatGPTの方が綺麗にまとめて比較検討もしてくれるよ？」とか嫌味を言われるかも。

[wktk_msum]

すごいはずなのにひどい

[tkeisuke3]

とりあえず速いのはわかった

[hihi01]

たしかに日本からも4o、アクセスできました。でも、アクセス集中でオーバーロードだそうで会話機能はまだ使えませんでした。有料ユーザーです。

[altar]

各社の無料・有料のラインナップをある程度把握してないのかよ、まあ確かに現状のLLMはリアルタイムのそういう情報を上手く扱ってくれないもんな、という皮肉を感じてしまった。

[zkq]

もしかし回答の分量が多いことを凄いって言ってる？