LINE が公開した日本語言語モデルをM2 Macbook Airで動かす

これはなに？ LINE が公開した日本語言語モデルをローカルで動かしたいけど、GPUがなくて動かなくて悲しかったのです。でも、huggingface に良い変換モデルを公開されてる方がいらして、それを試したら、いい感じで動きました。というご報告です。やったね！ 結論: 動かす手順 homebrew で cmake をインストール mmngaさんが公開されている ggml 変換版の readme に従ってターミナルで以下を実行 git clone https://github.com/ggerganov/ggml.git cd ggml mkdir build && cd build cmake .. make -j mmngaさんが公開されているggml 変換版のモデルをダウンロード 保存先は 2. で mkdir した build ディレクトリに。 以下のコマンドで推論を実行 ./bin

[Nyoho]

これは確かに結構高速。手元で 33.23 ms per token だった。精度はおいておいてもこれだけ動くのは素晴らしい。

[sharaku3eyes]

む

[skypenguins]

誰かGGMLで量子化してくれないかなーって思ってたけどやっぱいた

[AKIIRA]

めっちゃ簡単に動くな。