Amazon Bedrock 料金が一定額を超えたら使用不可にする仕組みを作ってみた

Amazon Bedrock の料金が予算上限を超えたら、自動的に追加リクエストを弾く仕組みを AWS Budgets Actions で作ってみました。 はじめに Amazon Bedrock に定額制のプランはなく、料金の上限をセットする機能もありません。 AWS の公式ブログには Amazon Bedrock のエンドポイントの前に API Gateway を置いて、料金を監視しつつ予算を超えたリクエストを拒否するアーキテクチャ例が公開されています。 このやり方は、予算上限をきっちり柔軟にコントロールできますが、クライアント側でエンドポイントの向き先を変える必要があるのと、そもそもこの仕組み自体に料金が掛かります。 「そこまではしなくていいから、サクッと手軽に一定額を超えたらリクエストを弾きたい！」という仕組みなら AWS Budgets Actions だけで作れるので、Cloud

[MASSI]

適当なマシンがあれば LiteLLM の Virtual Key でハードストップかけるのがいいかも