Azure OpenAI Serviceを1分あたりに利用できる上限値の話
SRE Unitの若松です。Azure OpenAI Serviceには、1分あたりに利用できる上限値が決められています。今回はこの上限値のカウントの仕方ついて紹介します。 上限値は２つAzure OpenAI Serviceで1分あたりに利用できる上限値は2つあります。一つは、API 呼び出しに伴うトークン数であるTokens-per-Minute (以降TPM)、もう一つは、API の呼び出し回数 であるRequests-Per-Minute（以降RPM）になります。 TPMTPMは1分あたりのトークン数です。1分あたりに消費できるTPMに上限があります。現在利用しているAzure OpenAI Serviceのリソースに割り当てられているTPMの上限値を確認するには、Azure OpenAI StudioのQuotasで確認できます。 例えば、モデルgpt-35-turboのTPMの
Serverless Framework から lambroll + Terraform に移行しているお話
はじめまして、wind-up-bird です。スタディストの SRE Unit に入ってから約半年が経ちました。今回は社内で利用している Serverless Framework を lambroll に移行しているのでその話を少し書いてみようと思います。 これまでの開発の流れスタディストでは AWS Lambda および周辺リソース（AWS IAM や Amazon API Gateway など）の管理はこれまで Serverless Framework を利用していました。開発からリリースの流れは以下の通りです。 Lambda の開発serverless.yml を作成開発者がデプロイ担当者に連絡する担当者がローカルの環境から serverless deploy を手動実行Serverless Framework 導入当初は管理しているリソースが少なくこの運用でもあまり問題になりません
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
