はじめに この記事は SRE 連載の 4月号です。 3月の記事は id:chaya2z さんの GigaViewer の配信基盤を支えるマルチテナントアーキテクチャでした。 こんにちは システムプラットフォームチーム でSREをしています id:k1s1eee です。 弊社では現在、エンジニアだけでなくデザイナーやプロダクトマネージャーなど、職種を問わず広くLLM（大規模言語モデル）を業務に活用しています。 組織が大きくなるにつれ「誰が・どのモデルを・どれだけ使っているか把握できない」「プロバイダーが増えるたびにAPIキーの管理が増える」といった課題が見え始めてきました。 この記事では、そうした課題に対して LiteLLM Proxy Server OSS版を導入し、試行錯誤しながら運用を改善してきた過程を、意思決定の背景も含めて振り返ります。 時系列としては、2025年後半に一部のエンジ