大規模言語モデル(LLM)に国家試験「ITパスポート試験」を解かせてみた──そんな研究成果をGMOグループのGMOメディア(東京都渋谷区)が発表した。LLMが持つ推論能力や問題解決能力の特徴を分析するため、IT分野での能力差を検証。GPT-4など、6種類のLLMで比較した。 比較に使ったLLMは、米OpenAIの「GPT-3.5」(gpt-3.5-turbo-1106)、「GPT-4」(gpt-4-1106-preview)、Stability AI Japanの「Japanese StableLM Alpha」(Japanese Stable LM Instruct Alpha 7B v2)、東工大と産業技術総合研究所の「Swallow」(Swallow-7B-instruct-hf)、rinnaの「Nekomata」(nekomata-7b-instruction)、ELYZAの「EL
![AIに「ITパスポート試験」を解かせてみると…… 最もIT分野に詳しいLLMは? GMO子会社が検証](https://cdn-ak-scissors.b.st-hatena.com/image/square/cf6c1a70761d967275013624eab864a8addfef41/height=288;version=1;width=512/https%3A%2F%2Fimage.itmedia.co.jp%2Fnews%2Farticles%2F2403%2F12%2Fcover_news164.jpg)