LiteLLMを使ったLLMの集約 & 簡易的なKey管理 + langfuse添え

プライベートなLLM API、会社利用でのAPI、LocalLLMなど、LLMを使うだけでもいろいろなエンドポイントがあり管理が煩雑になる、あると思います。 そういったことへの対策として、いろいろなところでLiteLLMに関する記事はありますが、Keyの管理についてはあまり触れられていないようなので簡単にまとめておきます。 LiteLLMとは LiteLLMは、LLMプロバイダーへのアクセスを統一的なインターフェースで提供するOSSです。LiteLLM Proxy Server (LLM Gateway) として起動することで、個々のLLMプロバイダーのAPI仕様の違いを意識することなく、OpenAI互換の形式でリクエストを送信し、様々なモデルを利用できるようになります。 加えてLiteLLM Proxyは、単なるAPIの抽象化に留まらず、認証、認可、使用状況の追跡、コスト管理、レート制限

[misshiki]

“LiteLLMは、LLMプロバイダーへのアクセスを統一的なインターフェースで提供するOSSです。”

[sh19910711]

"LiteLLM Proxy: 使用状況の追跡、コスト管理、レート制限、キャッシュ、モデルルーティングといった、エンタープライズレベルの運用機能 / どれだけの量をどの程度の頻度で利用できるか、といったポリシー"