Unsloth で始める gpt-oss のファインチューニング

（上記、Github の README.md を一部日本語に翻訳して引用） Unsloth の良い点としては、学習の高速さやVRAM消費量が小さいことに加え、学習の効率化において近似計算を一切使用していないことから、精度低下がゼロと自信を持って書かれていることや、Huggingface において様々な動的量子化/GGUFモデル等を公開していることが挙げられます。 また、Unsloth を用いてLLMのダウンロードを行うと、謎の仕組みで高速に進みます。(Unsloth: Fast downloading is enabled と出てくるので多分早くなっている) インストールは以下のコマンドで行えます。 余談ですが、Unsloth の公式ドキュメントに書かれた LLM のファインチューニングガイド、どのモデルを使うべきか？、LoRA のハイパラのガイド は情報が綺麗にまとまっていて個人的にかな

[misshiki]

“他のライブラリよりも2倍高速かつGPUのVRAMを70~80%節約した状態で学習可能 と謳うライブラリ Unsloth の公式ドキュメントから、gpt-oss の実行方法とファインチューニングについての詳細なガイドが公開されているので意訳”

[yarumato]

“gpt-oss-20bのLoRAの学習は14GBのVRAM、gpt-oss-120bの学習は65GBあれば可能。ライブラリUnsloth（他よりも2倍高速、GPUのVRAMを70%節約して学習可能）の公式ドキュメントから、ファインチューニング詳細ガイドを意訳”

[sh19910711]

"Harmony: gpt-oss の新しい文解析/トークン化ライブラリ / 6 token/sec の推論スピードを実現するためには、gpt-oss-20B では Unsloth の動的4bit量子化モデルで 14GB"