ある日、Twitterを巡回していると え...マジで?となりました。自分の専属AIを作りたい!と思い立ち、実際に動かしてみました。 目標 このようにローカルPC上でLLaMAとチャットできるようになります。 ただ、自分が使ったモデルは7Bモデルと言って、パラメータがあまり大きくない=あまり賢くないモデルだったので出力は変な感じになっています笑 (明らかにネットの会話を推論に引っ張ってきてますね...) なので、今回はとりあえず動かしてみたい人向けです!精度などは気にせずお試しください。 ちなみに、自分はM1 MacBookAir(8Gメモリ)で動きました!信じられないぐらい遅いですが笑 Macユーザー向けに解説しますが、windows、linuxユーザーでもほとんど変わらないと思います。 手順 基本的にはこのgithubでの手順を踏んでいきます。 Node.js (npm) をインストー
![【超簡単手順】低スペックローカルPCで大規模言語モデル「LLaMA」を動かす!](https://cdn-ak-scissors.b.st-hatena.com/image/square/624b34d7b90f7ce3933af0fdece30c5e8764ba6a/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--5k46wdwt--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%2525E3%252580%252590%2525E8%2525B6%252585%2525E7%2525B0%2525A1%2525E5%25258D%252598%2525E6%252589%25258B%2525E9%2525A0%252586%2525E3%252580%252591%2525E4%2525BD%25258E%2525E3%252582%2525B9%2525E3%252583%25259A%2525E3%252583%252583%2525E3%252582%2525AF%2525E3%252583%2525AD%2525E3%252583%2525BC%2525E3%252582%2525AB%2525E3%252583%2525ABPC%2525E3%252581%2525A7%2525E5%2525A4%2525A7%2525E8%2525A6%25258F%2525E6%2525A8%2525A1%2525E8%2525A8%252580%2525E8%2525AA%25259E%2525E3%252583%2525A2%2525E3%252583%252587%2525E3%252583%2525AB%2525E3%252580%25258CLLaMA%2525E3%252580%25258D%2525E3%252582%252592%2525E5%25258B%252595%2525E3%252581%25258B%2525E3%252581%252599%2525EF%2525BC%252581%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E3%252582%2525BA%2525E3%252582%2525B7%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzRjMGFhYzc0ZjAuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)