エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
【ローカルLLM】Mixtral-8x7bをllama.cppで試す|Baku
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
【ローカルLLM】Mixtral-8x7bをllama.cppで試す|Baku
2023/12/12:llama.cppで「Mixtral-8x7b」のGGUF量子化モデルを試しました(現時点でまだmergeされてい... 2023/12/12:llama.cppで「Mixtral-8x7b」のGGUF量子化モデルを試しました(現時点でまだmergeされていないのでbranchを利用)。 「Mixtral-8x7b」はMistralがリリースしたMoE(Mixture of Experts)構造のLLMです。 英語+欧州主要言語に対応しており、それらの言語でのベンチマークスコアはGPT-3.5&Llama-2-70Bに匹敵ないし上回ります。 Mistralと同様に日本語性能は微妙なようです。 今回はGoogle Colabで「Mixtral-8x7B-Instruct-v0.1-Q4_K_M-GGUF(4bit量子化版)」の推論を試しました。 # llama.cppのmixtralブランチをクローン(mergeが済んだら「-b mixtral」不要) !git clone -b mixtral https:/