気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
zenn.dev/yuki127エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント1件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
GGUFって結局どのサイズ選んだらいいの？？
検証内容 llama.cppのGGUFフォーマットについて量子化サイズ、手法での精度の変化を確認する 変換、量子... 検証内容 llama.cppのGGUFフォーマットについて量子化サイズ、手法での精度の変化を確認する 変換、量子化にはb3369のReleaseを使用 変換するモデルはtokyotech-llm/Llama-3-Swallow-8B-Instruct-v0.1 評価対象は次の84種類 Model CardのUsageに沿ってvllmで実行したfloat32(そのままをoriginal、system promptに日本語で回答する指示を加えたものをoriginal_ja) safetensors -> GGUFに変換したF32とF16のGGUF Q8_0からQ2_Kまでのimatrixを必要としない14種類の量子化GGUF Q6_KからIQ1_Sまでのimatrixを使用できるor必要とする22種類の量子化GGUF (4についてはimatrix作成のためのデータを3種類用意しそれぞれに22種
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
zenn.dev/yuki127
zenn.dev/yuki127
younganimal.com
meetscareer.tenshoku.mynavi.jp
www.gizmodo.jp
note.com/browncatro1
note.com/techniczna
kaminashi-developer.hatenablog.jp
kakehashi-dev.hatenablog.com
anond.hatelabo.jp
speakerdeck.com/naoya
0taku.livedoor.biz
dic.nicovideo.jp
www.vim.org
resemom.jp
anond.hatelabo.jp
2024/08/03 リンク