GPT-4とClaude 3 Opusを創作系のタスクで比較し、相互に評価させる｜oshizo

Claude 3 Opus 楽しいですね。 GPT-4が出てから1年、個人的な趣味としてGPT-4にたまに自分用に創作をしてもらっていたのですが、過去にGPT-4とやってきたタスクでClaude 3 OpusとGPT-4両方に出力させ比較してみました。 30のタスクで人間（私）、GPT-4、Claudeの3者で結果を比較評価しました。多数決した結果はGPT-4の勝利でしたが、体感的にはほぼ互角、Claude 3 Opusはたまに絶対にGPT-4には出せなそうな出力をするのが面白い、という感想です。 今回使ったprompt、モデルの出力、評価結果、モデルによる評価判断の出力はすべてこのGoogleスプレッドシートで共有してますので、興味ある方は眺めてみてください。 数が多いので、もし見る方はこの辺りを見るのがおすすめです。 No.1「恋愛ゲームのバッドエンド会話」 No.12「ユニークなファ

[hageatama-]

"多数決した結果はGPT-4の勝利でしたが、体感的にはほぼ互角、Claude 3 Opusはたまに絶対にGPT-4には出せなそうな出力をするのが面白い"

[misshiki]

“GPT-4とClaude 3の出力を同時に見せて、どちらが優れているかを判断します。判断者は人間（私）、GPT-4、Claude 3にそれぞれ判断させ、多数決で結果を決めることにします。”

[napsucks]

claude3のほうは時々「私の考えでは～」みたいな出力が挟まることがあって非常に中の人らしさを感じさせるのよね。

[R1na]

“プロンプトの長さは200～1000文字が多く” クロードならもっと長くても何なく捌けるのに。RAG とかね。評価方法が不十分。