LLMプロダクトのロバスト性と運用｜Yuki Nanri

こんにちは、Algomaticのなんりです。 この記事は、LLM In Productionで登壇した「LLMプロダクトのロバスト性と運用」の資料を元に加筆した内容です。 背景が不足していたり、図が小さかったりしたので、追記も含めて更新しました。もし間違いがあれば教えてください。 自己紹介会社概要と事業内容いきなり余談で恐縮ですが、LLM in Productionの前回の勉強会で代表の大野が「LLMを活用した “反直感的”な新規サービス設計」という発表をしました。その中で「とりあえずサービスをリリースして、事業性がなくクローズした」という話をしています。 本勉強会の懇親会である方から、「事業ドメイン上、LLMプロダクトの取り組みは難しかったが、この話を聞き、チーム内でまず出してみようと動きになった。もうすぐプレスリリースも出します。」という声を頂きました。 市場全体でこういった事例が増え