エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
小規模なLLMのMerge(圧縮・強化)、GGUF化と量子化、Ollamaの使い方の注意点 - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
小規模なLLMのMerge(圧縮・強化)、GGUF化と量子化、Ollamaの使い方の注意点 - Qiita
本記事はパラメータが3B(30億パラメータ)以下の比較的小規模なLLMのマージや量子化の効率的な処理方法... 本記事はパラメータが3B(30億パラメータ)以下の比較的小規模なLLMのマージや量子化の効率的な処理方法と、それをローカルで動かす際の、Ollamaの使い方の注意点についてまとめたものです。実際に実行した環境は以下の通りです。 ・ローカルPC: M1 Macbook Air Ventura13.6.7 メモリ8GB CPU8コア・GPU7コア モデルのマージ 比較的簡単にモデルのマージをしたい場合には、定番のMergekitがお勧めですが、更にインストールや各種設定等の手間も省きたい人にお勧めなのはLazyMergekitです。 リンク:LazyMergekitのnotebook(Github: mlabonne/llm-course) このGithubサイトにあるLazyMergekitのnotebookリンクを開き、自分のGoogleDriveにコピーして使います。最初マージに必要な設