Node.jsで実現するLLMの新しい可能性 〜llama2をTypeScriptで呼び出す方法〜

はじめに 先日、Python 環境（と言いつつ、C++でビルドしたやつを呼び出すライブラリ）で meta が作って公開してる LLM モデルの llama2 をローカルで動かしてみた TypeScript でもできるのかなと思って調べてみた ちなみに、本家は PyTorch を使うっぽいけど、いまいち使い方わからない・・・。Mac で動くんやろか？ 調べると、node-llama-cpp ってのを作ってる人がいた llama.cpp って、llama を C++で動くようにしたやつを Node.js から呼べるようにしたもの さらに、langchain.js からも呼び出せるみたい llama.cpp まず、llama.cpp は Apple silicon で使えることを目的としてて、Apple シリコンの GPU を使うための Apple 版 CUDA の Metal に対応してくれて