これはなに? LINE が公開した日本語言語モデルをローカルで動かしたいけど、GPUがなくて動かなくて悲しかったのです。でも、huggingface に良い変換モデルを公開されてる方がいらして、それを試したら、いい感じで動きました。というご報告です。やったね! 結論: 動かす手順 homebrew で cmake をインストール mmngaさんが公開されている ggml 変換版の readme に従ってターミナルで以下を実行 git clone https://github.com/ggerganov/ggml.git cd ggml mkdir build && cd build cmake .. make -j mmngaさんが公開されているggml 変換版のモデルをダウンロード 保存先は 2. で mkdir した build ディレクトリに。 以下のコマンドで推論を実行 ./bin
![LINE が公開した日本語言語モデルをM2 Macbook Airで動かす](https://cdn-ak-scissors.b.st-hatena.com/image/square/44a86e220cb68e66cb939604a3a6298e465384f3/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--kcSX0oht--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3ALINE%252520%2525E3%252581%25258C%2525E5%252585%2525AC%2525E9%252596%25258B%2525E3%252581%252597%2525E3%252581%25259F%2525E6%252597%2525A5%2525E6%25259C%2525AC%2525E8%2525AA%25259E%2525E8%2525A8%252580%2525E8%2525AA%25259E%2525E3%252583%2525A2%2525E3%252583%252587%2525E3%252583%2525AB%2525E3%252582%252592M2%252520Macbook%252520Air%2525E3%252581%2525A7%2525E5%25258B%252595%2525E3%252581%25258B%2525E3%252581%252599%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3ACoji%252520Mizoguchi%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9saDMuZ29vZ2xldXNlcmNvbnRlbnQuY29tL2EtL0FPaDE0R2pWY2RrNjcwV2NIdGs0anBHa2FGTDAxcERVUVlIX0JYdWE5aDRVNVE9czI1MC1j%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)