はじめに こんにちは、GxPの森下です！ この記事はグロースエクスパートナーズ Advent Calendar 2023の24日目の記事です。 社内でデータ分析やAIに関する勉強会を行っており、その中でLLMを扱う方法に興味を持ち、学んだことをまとめました。 環境 OS : Windows11 CPU : 12th Gen Intel(R) Core(TM) i5-1235U RAM : 32.0 GB Python : 3.10 LlamaIndex : 0.9.16 llama-cpp-python : 0.2.20 llama.cppとllama-cpp-pythonについて 通常、LLMを動かす場合、GPUが必要になるかと思いますが、llama.cppを使用することで、量子化されたLLMをCPUでもLLMを動かすことが出来るようになります。ただ、llama.cppはC/C++で記述