イチからつくるLLM（１）｜ディープラーニングネイティブ

LLMのことを知りたいと思ってチュートリアルなどを眺めても結局transformersのAPI紹介で何も分からない。そこで「分からないなら作ればいいじゃない」、というファインマン流な勉強を始めてみました。ゼロから作ろうかと思ったのですが、ちょっと大変そうなので、このシリーズではJAXとequinoxで実装していきます。JAXは自動微分やJIT機能のついたnumpyですが、流石にそのレベルから頑張るのはしんどいので、JAXでニューラルネットワークなどを作りやすくするライブラリーであるequinoxを使います。flaxなどより薄いラッパーで、扱いやすいのが特徴です。 Llama3モデルを色々用意するのは大変なので、今回はLlama3に限定します。LlamaはMetaの開発しているLLMで、同じ構造はSarashinaやLLM-jpといった日本語LLMにも採用されているようです。私が使ったことの

[misshiki]

“JAXでニューラルネットワークなどを作りやすくするライブラリーであるequinoxを使います。flaxなどより薄いラッパーで、扱いやすいのが特徴です。”

[abrahamcow]

大規模言語モデル