はじめに 「ゼロからLLMつくりたいなー」と思っていますが、なかなか時間がとれないので、いざというとき(?)のために、参考になりそうなサイトをまとめておきます。 個人的な備忘録です。まだ全然作れていないので、どれが良いという評価もできません。 NLP2024チュートリアル 良さそう。 NLP2024-チュートリアル3-作って学ぶ 日本語大規模言語モデル Neural Networks: Zero to Hero Andrej Karpathyさんの動画。英語ですが、すごい良さそう Karparthyさんのリポジトリ Llama Llamaの情報 GENIAC その他 LLaVA(画像系) 環境構築 モデルマージ まとめ LLMに限らず、何かをゼロから小さく作ってみるのは、回り道のようで理解を深める最短経路と思っています。すぐ効果があるようなものではないですが、こういうのはまとめて取り組んで
![ゼロからLLMつくりたくなったときに参考になりそうなサイト](https://cdn-ak-scissors.b.st-hatena.com/image/square/05545713607eab7d242936c89815ee6bc0ba1f06/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--8W06EJvO--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%2525E3%252582%2525BC%2525E3%252583%2525AD%2525E3%252581%25258B%2525E3%252582%252589LLM%2525E3%252581%2525A4%2525E3%252581%25258F%2525E3%252582%25258A%2525E3%252581%25259F%2525E3%252581%25258F%2525E3%252581%2525AA%2525E3%252581%2525A3%2525E3%252581%25259F%2525E3%252581%2525A8%2525E3%252581%25258D%2525E3%252581%2525AB%2525E5%25258F%252582%2525E8%252580%252583%2525E3%252581%2525AB%2525E3%252581%2525AA%2525E3%252582%25258A%2525E3%252581%25259D%2525E3%252581%252586%2525E3%252581%2525AA%2525E3%252582%2525B5%2525E3%252582%2525A4%2525E3%252583%252588%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Akaraage0703%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9saDMuZ29vZ2xldXNlcmNvbnRlbnQuY29tL2EtL0FPaDE0R2hDZEtvakJfZXdDTjNCV1Z0WXIteFNIZ0hmRjlXZmt3QzI5c0Y0aXYwPXMyNTAtYw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)