はじめに Mac miniで建てたLLMサーバの使い道を色々考えてみた結果、いわゆるエージェントタスクにおける計算資源としての使い方が向いているのではという気がしてきた。イメージはAWS LambdaのようなFunction as a serviceのようなワンショットなステートレスな処理での使い方である。前回のベンチマークや実際のトライアルの中で、OpenAIなどで提供される高級モデルと比べると、計算が貧弱であることはわかっているため、許容しなければならない制約があれど、その制限があっても価値につなげられる考え方も何となく見えてきた。

