はじめに 成果 参考記事からの変更点 環境 環境設定 データセットの構築 トークナイザー準備 事前学習 学習用のパラメータの設定 事前学習の実行 推論 モデルをhuggingfaceにアップグレードする ライブラリのインストールとログイン モデルのアップロード はじめに LLMの精度検証を各モデルをやっていく中で自分でも事前学習モデルを作ってみようと思ったので、いろいろと調べて作ってみました 今回は以下の記事で事前学習モデルの作成用のColobが公開されていたので、こちらを使用します。 zenn.dev また上記の内容を細かくZennにまとめられているので、詳細を知りたい方は以下の記事をご覧ください。 zenn.dev 成果 作成したモデルで推論した結果です....数時間の推論だけだとかなり厳しいですね 今回作成したモデルは以下で公開しています huggingface.co 参考記事からの