エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント1件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
MPT-30B を 3090 x 2 で味見メモ(日本語はだめだめだった)
Google Colab で MPT-30B を試す ありがとうございます. npaka 先生は神. どこのご家庭にもある 3090 x ... Google Colab で MPT-30B を試す ありがとうございます. npaka 先生は神. どこのご家庭にもある 3090 x 2 で動かしてみます. 環境 x299 CPU mem 256 GB 3090 x 2 Ubuntu 20.04 今回は chat 版使ってみます. ライセンスは CC-By-NC-SA-4.0 (商用利用不可)です. モデルサイズは bfloat16 で 60 GB ほどです. int8 で 30 GB で 3090 x 2 で動作します! (GPU なかったら, device_map = "cpu" あたりにして CPU 動作させましょう) import torch import transformers from transformers import AutoTokenizer name = 'mosaicml/mpt-30b-chat' #co
2023/06/29 リンク