エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
無料枠のGoogle ColabでGPT-3.5を超えるLLMを動かす!Mixtral offloadingについて - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
無料枠のGoogle ColabでGPT-3.5を超えるLLMを動かす!Mixtral offloadingについて - Qiita
無料枠のGoogle ColabでGPT-3.5を超えるLLMを動かす!Mixtral offloadingについてAI論文紹介GoogleColab... 無料枠のGoogle ColabでGPT-3.5を超えるLLMを動かす!Mixtral offloadingについてAI論文紹介GoogleColaboratoryLLM はじめに 2023年12月DeepMindやMeta出身の研究者が設立したMistral AIが、大規模言語(LLM)モデル「Mixtral 8x7B」をリリースしました。多くのベンチマークでGPT-3.5やLlama 2 70Bを上回る性能を持つと言われています。 Mixtral 8x7BはMixture-of-Experts(MoE)モデルを採用しています。 MoEとはモデルの中に複数のブロック(Expert)を用意しておき、入力によって適したブロック(Expert)のみを用いて推論をする手法です。Mixtral 8x7Bでは8つのExpertから2つのExpertのみを使用して推論します。 上記のMixtral 8