LLMのファインチューニングのためのツール Axolotl｜npakaLLMのファインチューニングのためのツール「Axolotl」の概要をまとめました。 1. Axolotl「Axolotl」は、LLMのファインチューニングのためのツールです。様々なLLM、データセット形式、アーキテクチャをサポートします。 ・「LLaMA」「Pythia」「Falcon」「MPT」などの様々なHuggingFaceモデルを学習 ・「Full Finetune」「Lora」「Kalora」Relora」「Guptak」をサポート ・単純なyamlやCLIオーバーライドで構成をカスタマイズ ・様々なデータセット形式をロードしたり、カスタム形式を使用したり、独自のトークン化されたデータセットを使用可能 ・「xFormer」「Flash attention」「Rope scaling」「MultiPacking」と統合 ・「FSDP」または「DeepSpeed」を介して単一GPUま
