米Microsoftら、“コーディング専用”大規模言語モデル「WizardCoder」開発 文章から高品質なコード出力

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Microsoftや香港浸会大学に所属する研究者らが発表した論文「WizardCoder: Empowering Code Large Language Models with Evol-Instruct」は、米Hugging Faceが5月に発表したCode LLM（コーディング専用大規模言語モデル）「StarCoder」を軽量で高精度に強化する手法を提案した研究報告である。リポジトリはこちら。 コード生成に関連する課題に取り組むため、多数のCode LLMが提案されている。これらのCode LLMは、大量のコードデータを使用して事前学

[mozukuyummy]

もはや英語が最強のプログラミング言語になりそう。

[bopperjp]

プログラミング言語は曖昧に書けないから面倒→ 英語からプログラミング言語生成 → 生成ルールがわかりづらい、生成結果が正確じゃないし → プロンプト言語 → 記述量が多いわ → プログラミング言語？

[naggg]

“この研究では、命令データを自動生成する「Evol-Instruct」をコードのドメインに適応させることで、複雑な命令の微調整でCode LLMを強化する「WizardCoder」を提案する。”

[deejayroka]

“コード固有のEvol-Instructを通して複雑なコード命令データを生成することにより、SOTAオープンソースのCode LLMである「StarCoder」の機能を強化”

[Cald]

テストコード書くのにはいいのかもね

[fashi]

それでもGPT-3.5、GPT-4には負けるのか

[chintaro3]

　ありきたりな処理が効率化されるだけでもずいぶん違うだろうと思う

[shunkeen]

“特筆すべきは、他のモデルに比べてサイズが大幅に小さいことである。サイズが小さいにもかかわらず、Claude、Bard、PaLM、PaLM-2、LaMDAなどと比較して、コード生成で優れた結果を達成した”／いつかGitHub Copilotに載るの？

[kamm]

IT土方大量離職時代が近づいてきた？

[misshiki]

“論文「WizardCoder: Empowering Code Large Language Models with Evol-Instruct」は、米Hugging Faceが5月に発表したCode LLM（コーディング専用大規模言語モデル）「StarCoder」を軽量で高精度に強化する手法を提案した研究報告”

[hunglysheep1]

SFみたい

[mayumayu_nimolove]

とりあえずhtml/cssコーディングじゃないことは確か

[Seamless]

HuggingFace開発のCode LLM[StarCoder]を軽量,高精度に強化,MSが開発。サイズが大幅に小さいのに全OSS Code LLMやBard,PaLM-2,LaMDA等よりコード生成で優れた結果を達成。