UnslothでLlama3をファインチューニングする

はじめに Unslothはより高速なLLMファインチューニングのための軽量ライブラリです。 Unslothを使う理由としては単に高速なだけでなく、Llama3公式推奨のFine-tuningフレームワークより低いスペックのマシンでも動作するところが良いからです。 この記事では、Unslothを使ってLlama3をFine-tuningする方法について説明します。 開発環境 WSL2 (Ubuntu 24.04) Anaconda CUDA 12.5 本記事で使うソースコード及びデータセットは、GitHub上で公開しています。 前準備 まずは環境構築です。正直ここが一番苦労でした。 自分でなんとかライブラリーをインストールしたりしないで、Anacondaを使って環境構築することをおすすめします。 CUDAのインストール sudo apt-key del 7fa2af80 wget https

[sh19910711]

"Unsloth: 高速なLLMファインチューニングのための軽量ライブラリ / Llama3公式推奨のFine-tuningフレームワークより低いスペックのマシンでも動作 / kigner/ruozhiba-llama3-ttを基に日本語のデータセットを作成"