エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
【Petals】3人で力を合わせてLlama-2-70bを動かす【Colab】 - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
【Petals】3人で力を合わせてLlama-2-70bを動かす【Colab】 - Qiita
はじめに 今回の目標はこの巨大モデルLlama-2-70bを動かすことです。 700億パラメータということで、4bi... はじめに 今回の目標はこの巨大モデルLlama-2-70bを動かすことです。 700億パラメータということで、4bit量子化をかけても40GB程度のVRAMが要求されます。残念ながらColabの無料枠には乗りきりません。 今回はPetalsというOSSを使用することで、Colab上での実行を試みます。 Petalsとは 簡単に説明すると、モデルをいくつかに分割し、複数のマシンでそれぞれの演算を担うことで、大規模なモデルでの推論を実現するというものです。 現在ホストされているモデルは、こちらのHealth Monitorで確認することができ、誰でも利用することができます。 サポートされているモデルとしては、BLOOM, LLaMA, Falconなどが挙げられ、どれもOSSとしては最大規模のパラメータを有します。 ホストされているモデルで推論してみる まずはPetalsでホストされているモデ