社内にLiteLLM Proxy（OSS版）を導入してマルチプロバイダLLM運用基盤を作った話 - Hatena Developer Blog

はじめに この記事は SRE 連載の 4月号です。 3月の記事は id:chaya2z さんの GigaViewer の配信基盤を支えるマルチテナントアーキテクチャでした。 こんにちは システムプラットフォームチーム でSREをしています id:k1s1eee です。 弊社では現在、エンジニアだけでなくデザイナーやプロダクトマネージャーなど、職種を問わず広くLLM（大規模言語モデル）を業務に活用しています。 組織が大きくなるにつれ「誰が・どのモデルを・どれだけ使っているか把握できない」「プロバイダーが増えるたびにAPIキーの管理が増える」といった課題が見え始めてきました。 この記事では、そうした課題に対して LiteLLM Proxy Server OSS版を導入し、試行錯誤しながら運用を改善してきた過程を、意思決定の背景も含めて振り返ります。 時系列としては、2025年後半に一部のエンジ

[mohri]

よい取り組み

[jun_cham]

組織としてもいいけど、接続先のフォールバック機能があるのがいいな。

[kiririmode]

AI利用を広げるための「自由に使えること」と「組織として管理できること」の両立と、そのためのプロキシ基盤と権限委譲の設計