エントリーの編集

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
rinna さんの Qwen2.5 Bakeneko 32B を試す|ぬこぬこ
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
rinna さんの Qwen2.5 Bakeneko 32B を試す|ぬこぬこ
では早速 Ollama で試してみます。素晴らしいことに既に量子化されたモデルがあるではありませんか。GGU... では早速 Ollama で試してみます。素晴らしいことに既に量子化されたモデルがあるではありませんか。GGUF をお借りして Ollama から動かしてみます。 実行環境 Mac Studio 2023 Chip: Apple M2 Ultra Memory: 192 GB macOS: Sequoia 15.3 下記のコマンドは Q8_0 のものを使っているので、VRAM が 36 GB 程度必要です。ご自身の環境に応じたサイズのものを選んでください。 ollama run hf.co/rinna/qwen2.5-bakeneko-32b-instruct-gguf:qwen2.5-bakeneko-32b-instruct-q8_0.gguf --verbose "おすすめの日本のアニメについて教えてください。"たとえば Q4_0 を使いたい時は下記のように指定します。これで VRAM