コード専用生成AI「WizardCoder」、米Microsoftが公開 ベースはCode Llama、高い精度を達成

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Microsoftなどに所属する研究者らは、米Metaが最近リリースしたCode LLM（コーディング専用大規模言語モデル）「Code Llama」をベースにしたコード専用生成AI「WizardCoder」を発表した。 LLMの性能を評価するベンチマーク「HumanEval Benchmark」で、ChatGPT（GPT-3.5）やClaude2を上回る高い精度73.2％を達成し、存在感を示した。唯一下回ったのは、8月26日に同研究者らが計測したGPT-4（82.0％）のみ。ただし、3月に米OpenAIの公式テクニカルレポートが報告したG

[deejayroka]

“方法として「Evol-Instruct」という手法を使って、コード生成に特化した指示データを生成”

[misshiki]

“WizardCoderは、モデル名「WizardCoder-Python-34B-V1.0」としてGitHubやHugging Faceで公開されている。「WizardCoder-Python-13B-V1.0」も公開されている。”

[Seamless]

CodeLlamaを指示チューニングした“WizardCoder-Python-34B-V1.0”HumanEvalで73.2%達成。独自計測(2023/8)のGPT4だけに負けたがGPT3.5等他に勝利。OpenAI報告(2023/3)のGPT4には圧勝