エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
【GPT-4o, Gemini 1.5 Flash】LLMたちに競プロの問題解かせてみた【結果編】 - Qiita
記事へのコメント1件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
【GPT-4o, Gemini 1.5 Flash】LLMたちに競プロの問題解かせてみた【結果編】 - Qiita
はじめに OpenAIはgpt2としてテストされていたものをGPT-4oとして公開しましたね。この伏線回収には少し... はじめに OpenAIはgpt2としてテストされていたものをGPT-4oとして公開しましたね。この伏線回収には少し驚きました。また、googleもGemini 1.5 Proの新機能、Gemini 1.5 Flashの発表などここ数日LLM界隈?はかなり盛り上がってそうです。 ここで、一つの疑問が生まれました。「これだけLLMが進化したなら青色くらいの実力があるのでは・・・?」この疑問を解決するため、気になったモデルたちで競プロの問題がどれだけ解けるか競いたいと思います。 ルール 解答方法 対象コンテストの各問題をAから順に解いていく すべてのLLMで同一のプロンプトを使用する 各問題に対して、解答を3回挑戦させる 正誤失格判定 3回中1回でも正答できれば、問題を正答したとする 3回すべて間違えれば、誤答 2問誤答した時点で失格となる 順位付け 各コンテストについて問題の難しさ(Diffi