Google ColabでLLM（llm-jp-3-instruct、HF形式）をGGUF形式に変換する｜まゆひら
Google ColabでLLM（llm-jp-3-instruct、HF形式）をGGUF形式に変換する ※ Last update 10-03-2024 ※ (10-3) rinna/gemma-2-baku-2b-it も利用できます。 ※ (10-3) 3-3.に、google/gemma-2-2b-jpn-it への対応方法を追加しました。 ※ 本記事はHugging Face形式のモデルの変換がメインです。GPUは使用しません。モデルの動作確認もできますが遅いので、特にllm-jp-3-instruct 13bは行わない方が良いでしょう。 ※ 記述がややこしくなるため、F16やf16の記述を省いています。こちらが必要な場合はBF16やbf16の部分を読み替えてください。 ※ Windows PC版については、別の記事を公開する予定です。 ■ 0. はじめに▼ 0-0. 本記事の内
