Cline x LiteLLM x Bedrock で Rate Limit に負けない開発環境を作るぞ

はじめに Amazon Bedrock を利用した AI アプリ開発を行う際に、単一の AWS アカウントで何人もの開発者が並行して推論 API を叩くと、クォータ（分間の API リクエスト数など）に抵触してエラーが発生してしまうことがよくあります。（クォータは AWS アカウント毎に設定されているため） 本記事では、OSS である LiteLLM を使って Claude 3.7 Sonnet や Claude 3.5 Sonnet を柔軟に切り替え、Cline（VSCode や Cursor の拡張機能として使える AI コーディングエージェント）を利用してみたいと思います。 LiteLLM ではモデルごとのリトライ処理や、特定モデルがエラーになった際に別モデルへ切り替えるフォールバック機能も備わっているため、AWS アカウント一つで複数人が同時に Cline を利用する場合にも安定し

[sh19910711]

"LiteLLM: モデルごとのリトライ処理や、特定モデルがエラーになった際に別モデルへ切り替えるフォールバック機能も備わっている + 複数人が同時に Cline を利用する場合にも安定"