ChatGPT（3.5）に匹敵する「Llama 2」をローカルPCで動かしてみた

生成AIのトップランナーといえば、米OpenAIが提供するGPT-4などを使ったChatGPTですが、その対抗馬として期待されているのが米Metaが提供する大規模言語モデル「Llama 2」です。 このLlama 2、GPT-3.5の3月1日時点のモデルに匹敵する性能を持っているというのがウリです。GPT-3.5といえば、無料版のChatGPTで使われているモデルです。それがオープンソースとして公開されたのですから、衝撃的です。 さらに、高性能なだけでなくモデルサイズが小さいことも特徴です。GPT-3のパラメータ数は1750億（175B）、GPT-3.5は未公開ではあるものの3550億（355B）と推定されています。一方で、Llama 2は、700億（70B）パラメータで、GPT-3.5並をうたっています。 パラメータが小さくなれば必要なGPUのメモリも小さくなります。GPT-3.5はデー

[mfunaki]

手元の4080ゲーミングノートで、Windows/conda環境でgit cloneして実行。cyberagent/open-calm-7bをモデル設定し、会話してみた。ファンがうなりをあげながら返事を返してくれる。ちゃんとGPU使ってくれていた。

[idainahikikomori153]

RTX4090いいなあ

[yjszk]

あとでやるか

[misshiki]

“Text Generation web UIは、各種大規模言語モデルをWebアプリ風のUIで簡単に使えるようにしてくれるツールです。”