エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
CohereForAI/c4ai-command-r-plusを使ってうまくいったことが、量子化をしてぎりぎりローカルで動かせる規模のモデルでうまくいくのか試してみた - パソコン関連もろもろ
記事へのコメント1件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
CohereForAI/c4ai-command-r-plusを使ってうまくいったことが、量子化をしてぎりぎりローカルで動かせる規模のモデルでうまくいくのか試してみた - パソコン関連もろもろ
はじめにCohereForAI/c4ai-command-r-plusを使った記事はこちらです。 touch-sp.hatenablog.com Hugging... はじめにCohereForAI/c4ai-command-r-plusを使った記事はこちらです。 touch-sp.hatenablog.com HuggingChatを使って動かしました。 今回はいろいろなモデルをローカルで動かして同じことがうまくいくのか試してみました。 ローカルで動かせるモデルははるかに規模が小さく、また量子化されています。 Temperature, Repeat Penaltyなどのパラメーターは一切変更を加えていません。 モデルの実行はすべてOllama、検証はDifyを使いました。モデル〇がついているものがうまくいったもの。 ×がついているものがうまくいかなかったもの。〇 command-r:35b-v0.1 ollama pull command-r:35b-v0.1-q4_0 parameters: 35.0B quantization: Q4_0 mode