SRE Unitの若松です。Azure OpenAI Serviceには、1分あたりに利用できる上限値が決められています。今回はこの上限値のカウントの仕方ついて紹介します。 上限値は2つAzure OpenAI Serviceで1分あたりに利用できる上限値は2つあります。一つは、API 呼び出しに伴うトークン数であるTokens-per-Minute (以降TPM)、もう一つは、API の呼び出し回数 であるRequests-Per-Minute(以降RPM)になります。 TPMTPMは1分あたりのトークン数です。1分あたりに消費できるTPMに上限があります。現在利用しているAzure OpenAI Serviceのリソースに割り当てられているTPMの上限値を確認するには、Azure OpenAI StudioのQuotasで確認できます。 例えば、モデルgpt-35-turboのTPMの
