プレスリリースで「LLMをオープンソースで公開します!」なんてものが流れてくると、自宅のPCで動かしたみたいと思ったりしませんか? 「Amazon SageMakerやGoogle Colabがあるから必要だと思わない」「どうせStable DuffusionのようにVRAM不足で落ちるんでしょ?」、ま、まあそういう面は確かにあるのですが、世の中にはCPUだけで動かしてしまう仕組みもあるのです。CPUだったら自宅PCにも必ず乗っている、つまり、ローカルで動くということです。 ここで紹介する「llama-cpp-python」はその一つです。もちろんCPUだけで動きますが、NVIDIA GeForceのカードが刺さったPC(きっとゲーミングPC)であればもっと快適に動かすオプションもあり、有償版のサービスに手を出す前に、LLMを使って遊びたい方には良いプロダクトだと思います。 llama-c
![ローカルPCでLLMを動かす(llama-cpp-python) | InsurTech研究所](https://cdn-ak-scissors.b.st-hatena.com/image/square/622acfb6063bc7cbebc58d11559a213b259e3bc8/height=288;version=1;width=512/https%3A%2F%2Fwww.insurtechlab.net%2Fwp-content%2Fuploads%2Flama_image.png)