【超簡単手順】低スペックローカルPCで大規模言語モデル「LLaMA」を動かす！

ある日、Twitterを巡回していると え...マジで？となりました。自分の専属AIを作りたい！と思い立ち、実際に動かしてみました。 目標 このようにローカルPC上でLLaMAとチャットできるようになります。 ただ、自分が使ったモデルは7Bモデルと言って、パラメータがあまり大きくない＝あまり賢くないモデルだったので出力は変な感じになっています笑 (明らかにネットの会話を推論に引っ張ってきてますね...) なので、今回はとりあえず動かしてみたい人向けです！精度などは気にせずお試しください。 ちなみに、自分はM1 MacBookAir(8Gメモリ)で動きました！信じられないぐらい遅いですが笑 Macユーザー向けに解説しますが、windows、linuxユーザーでもほとんど変わらないと思います。 手順 基本的にはこのgithubでの手順を踏んでいきます。 Node.js (npm) をインストー

[tmatsuu]

LLaMAを手元で動かすためのツールがdalai。インストールはnpx dalai llama。ダライ・ラマ。なるほどですね

[daira4000]

facebookから流出したモデルっぽい

[knok]

モデルのダウンロードまでできちゃうのなんで?と思ったら https://github.com/shawwn/llama-dl リークされたモデルを8 bit量子化して勝手に再配布されてるようだ。いいのかなこれ

[misshiki]

“Node.js (npm) をインストール、 dalaiをインストール、 モデルのダウンロードと量子化、 localhostでweb/APIサーバーを立ち上げる、 完成！”これは思ったよりも簡単。