Langfuseを導入してLLMアプリケーション開発を劇的に進化させる

全体 Langfuse基盤を中心にLLMアプリケーションや、CI/CD(GitHub Actions)、ドメインエキスパートによる手動評価システムが連なってます。 LLMアプリケーション(アーキテクチャの前提) LLMアプリケーションは平日日勤帯によく利用されるアプリケーションです。 このあと後述するコストカットのための工夫はこちらの要件によるものです。 また、基盤モデルとしてAmazon Bedrockを利用しており、LangChain(ChatBedrockConverse) + LangGraphと、Boto3経由でConvese APIをtool useで利用する2通りの実装が混在しているアプリケーションとなっております。 Langfuse基盤 Langfuse基盤は主に次のようなAWSサービスから構成されています。 Langfuse V3で必要になるコンポーネントについては、次の