グーグルが開発中の次世代大規模言語モデル(LLM)「Gemini-1.5-Pro-Exp-0801」が、モデルの性能を評価するベンチマークサイト「Chatbot Arena」2024年7月31日付けランキングで1位になっていたことがわかった。 【もっと写真を見る】 グーグルが開発中の次世代大規模言語モデル(LLM)「Gemini-1.5-Pro-Exp-0801」が、モデルの性能を評価するベンチマークサイト「Chatbot Arena」2024年7月31日付けランキングで1位になっていたことがわかった。 Chatbot Arenaのランキングは、1000万人以上の人間によるLLMのペアワイズ比較データ(LLMの性能を評価するためのデータセット)を収集し、各LLMを順位付けしたもの。同日のランキングでは新モデルの「Gemini-1.5-Pro-Exp-0801」が、OpenAIの「GPT-4