Podman AI Labを使用してローカルでLLMを動かしてみる - 赤帽エンジニアブログソリューションアーキテクトの瀬戸です。 左を見ても右を見てもAIと言われている今日この頃、ChatGPTなどのサービスを動かしている方々がほとんどではないかと思います。 その中でLLMは別にクラウドじゃないと動かないわけではなく、ローカルで動かすことも可能なのですが、Pythonのインストールが難しそうとかの理由で避けている人もいるのではないかと思います。 Podman AI Labを使用する事で簡単にローカルでLLMを動作させて、チャットのやり取りを楽しむことができるので、ちょっとやってみましょう。 注意: この記事はx64 Windows 11 Professionalと十分なメモリが積まれたPCを使用しています。8G程度のメモリしか積まれていない場合は動作が難しい可能性があるので、ご注意ください。32G以上の余裕を持ったPCを使用する事を推奨します。また、モデルはそれぞれ数ギガバイト
