大規模言語モデル(LLM)に国家試験「ITパスポート試験」を解かせてみた──そんな研究成果をGMOグループのGMOメディア(東京都渋谷区)が発表した。LLMが持つ推論能力や問題解決能力の特徴を分析するため、IT分野での能力差を検証。GPT-4など、6種類のLLMで比較した。 比較に使ったLLMは、米OpenAIの「GPT-3.5」(gpt-3.5-turbo-1106)、「GPT-4」(gpt-4-1106-preview)、Stability AI Japanの「Japanese StableLM Alpha」(Japanese Stable LM Instruct Alpha 7B v2)、東工大と産業技術総合研究所の「Swallow」(Swallow-7B-instruct-hf)、rinnaの「Nekomata」(nekomata-7b-instruction)、ELYZAの「EL