【UiPath】AWS/Azure仮想マシンでローカルLLM環境を構築する - Qiita

はじめに 最近 Llama 3 やら Phi-3 やら Gemma 2 やらでローカルLLM界隈が盛り上がってきています。 「自分でもローカルLLMを試したい！けどGPU搭載のマシンが手元にない！」 という方のために、AWSやAzureでローカルLLMを動かすのための手順をまとめてみました。 またOllama APIをPython, REST API, UiPath Studioからコールする方法についても紹介したいと思います。 大まかな流れは次の通りです。 仮想マシン構築 : Amazon EC2またはAzure Virtual MachineでGPU搭載の仮想マシンを立てる ドライバーなどのインストール : NVIDIAのドライバーとCUDAライブラリーをインストールする Dockerコンテナとモデルのデプロイ : DockerをインストールしてOllama・モデルとOpen WebU