そうしたところ、主催者のぬこぬこさんから思いがけず声をかけていただいたので、せっかくだったらやってみるかと、3連休でLLMを自作で作ってみる（モデルの事前学習してみる）ことにしました。 結論としては、全体として7時間ほど（GPUが計算している時間含む）で作ることができました。 オチとしては、事前学習やった実績できたので勉強会に参加しようと思ったのですが、予定見たら勉強会がある9/26の夜は既に別の予定が入っていたことです。せっかく作ったけど参加できない、、残念…。 今回は自作LLM（国産生成AIと言っても過言ではない）をどんなふうに作ったかざっくり解説していきたいと思います。 このブログが良いなと思ったら、noteやXをフォローしてくれると嬉しいです。 ■やろうとしてること青空文庫の著作期限切れテキスト（GLOBIS University / 青空文庫）だけを用いて、日本語LLMの事前学習