大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編 Part1

はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 大規模言語モデル(Large Language Model: LLM)への注目がGPT-4のリリース以降高まっていますが、LLMを作るための知見は十分に共有されているとは言い難いと個人的に感じています。 Turingでは、Vision and Language, Video and Languageなどのマルチモーダルなモデルの研究開発を行っている一環として、Megatron-DeepSpeed, GPT-NeoXなどを用いて数十Bのモデルの学習を行う知見を蓄積しています。今回はLLMの事前学習を行う際に候補となるMegatron-DeepSpeedを用いてGPT-2-7B(6.6B)の学習をどのように行うのかについて解説します。 分散並列学習がどのよう

[res_circuit]

大規模なモデルを分散並列学習させたくなったそこのあなた向け

[shields-pikes]

めちゃくちゃわかりやすい解説（すぐやりたくなったけど、GPUがなかった）。

[hirorinya]

ほーん、作ってみるか

[misshiki]

“Megatron-DeepSpeedとは、NVIDIAのMegatron-LMにdeepspeedが組み込まれたものです。”

[atSushi]

“ ”

[knok]

複数マシンでやる話かと思ったら違った

[phain]

注釈の入れ方がセンスある

[kj131]

“GPT-2 7B A100”

[gm91]

大言壮語モデルと空目した

[sys-bio]

有益すぎる…！！！