Local LLMを部署内に提供！ Local LLM Model as a Serviceとその取り組みについて - NTT docomo Business Engineers' Blog

こんにちは、イノベーションセンターの福田です。 普段はAIエージェントの検証や開発と、チーム内資産のDevOpsに取り組んでいます。 コーディングエージェントの普及によって、LLMは日々の開発で欠かせない道具となりました。 その多くはクラウド型のサービスを通じて利用されており、高性能なモデルをすぐに使える環境が整っています。 同時に、日々の開発で常用するものだからこそ、扱うデータや利用の実態を自組織の内側に収めておきたい場面も出てきます。 そのため、クラウド型のサービスを活用しつつ、自組織で動かす選択肢も併せ持っておくことには意味があります。 自組織の管理下にあるGPUでモデルを動かせば、データが通る範囲も、利用履歴を記録する範囲や粒度も、自分たちで決められます。 私たちの部署では、この考えのもとにLocal LLM基盤を構築し、部署内へ提供しています。 本記事では、その構成と、運用に乗せ

[soulfulmiddleagedman]

社内で構築して遊んでた人がいて、ありがたく使わせてもらってたが、上の人からも文字通り遊んでる判定されて、今元気なくなって停滞気味。

[Kesin]

Kimi-K3を独自でホスティングしてるのすごい。1つだけパラメータ規模が桁違いだ

[fashi]

これをビジネス展開することも視野に…みたいな書き方してるけど普通のことしか言ってなくない？

[progrhyme]

いいね

[testedquality]

本件国内だとセキュリティとか業務継続性から検討する時期な気がします

[misshiki]

NTTドコモビジネスの部署でLocal LLM MaaSを構築。vLLM＋LiteLLM Proxyで複数モデルを単一API提供。GLM-5.2追加日は9割超、Kimi-K3はtsuzumi 2の20倍超のリクエストを集めた。

[toaruR]

ハードが気になる＼(^o^)／

[civicpg]

LLMの利用実績を評価する仕組みを作って、それ別に最新モデルでなくてもいいだろって使い方してる人は、軽量なやつがずっと使われるとか

[nabinno]

LocalLLMMaaSは語義から混乱している。国内法・契約・技術統制で外資クラウドを制御できるなら、ソブリンの価値は限定的。国策需要を離れ、性能・コスト・運用性で市場に勝てなければ産業にはならない。

[nguyen-oi]

新モデル追加したらリクエストが9割そこに集中するの草。結局みんな最新のおもちゃ触りたいだけだな

[IGA-OS]

社内共通LLM運用か・・・いいなぁ