AIに「ITパスポート試験」を解かせてみると…… 最もIT分野に詳しいLLMは？ GMO子会社が検証

大規模言語モデル（LLM）に国家試験「ITパスポート試験」を解かせてみた──そんな研究成果をGMOグループのGMOメディア（東京都渋谷区）が発表した。LLMが持つ推論能力や問題解決能力の特徴を分析するため、IT分野での能力差を検証。GPT-4など、6種類のLLMで比較した。 比較に使ったLLMは、米OpenAIの「GPT-3.5」（gpt-3.5-turbo-1106）、「GPT-4」（gpt-4-1106-preview）、Stability AI Japanの「Japanese StableLM Alpha」（Japanese Stable LM Instruct Alpha 7B v2）、東工大と産業技術総合研究所の「Swallow」（Swallow-7B-instruct-hf）、rinnaの「Nekomata」（nekomata-7b-instruction）、ELYZAの「EL

[misshiki]

“ELYZAのLLMが72.3％の精度を記録し、最も高い結果に。OpenAIのGPT-4（70.53％）とGPT-3.5（69.9％）で続いた。JGLUEの結果は、GPT-4が最も高くて95.42％を記録。次点にGPT-3.5（89.311％）が入り、rinnaのNekomata（81.68％）が続いた。”

[kazgeo]

Claude 3 だとどうなのかな。

[Dursan]

システム部門からすると部署に一人くらいは「ITパス」持ちがいてくれると楽なんだよ。つまりトリケラトプスの小脳が全身にあるようなもんで。