FlexGen で opt-66b を動かすメモ動作環境(256 GB 推奨(X670 などで 48GB x 4 で 192 GB もいけるかもはしれません). 128 GB でも動くけど二倍くらい遅くなる)があれば特に問題なく動くのですが, 一部 huggingface transformers(ややこしい名前であるが, transformer 系 model をぺろっとダウンロードしたり読むためのライブラリ) での(?)weight のダウンロードに不都合あるようです. とりま試す とりま chatbot 試します! x299 256 GB CPU mem 3090 x 2(実際は一個だけ使われる) $ python chatbot.py --model facebook/opt-66b --percent 50 10 100 0 100 0 --compress-weight A chat between a curious hu
