このエントリは2024/01/242024/05/27現在の情報に基づいています。将来の機能追加や変更に伴い、記載内容からの乖離が発生する可能性があります。 Azure API Management (以下、APIM) のバックエンドで、負荷分散できるようにバックエンドプールを構成できるようになった。2024/01/24現在Public Previewで、v2でも利用できる。 バックエンドは以下のドキュメントに記載がある。 API Management のバックエンド / Backends in API Management https://learn.microsoft.com/azure/api-management/backends バックエンドプール バックエンドで親子関係を作る。親子関係を構成するバックエンドは以下のように設定する。Poolの下にPoolを配置できないので注意。

2023/07/31現在の情報に基づいています。将来の機能追加・変更に伴い、記載内容からの乖離が発生する可能性があります。 問い合わせ 最近Azure OpenAI Service (以下、AOAI) にご執心のいつもの人から、以下のような問い合わせが届いた。 現在AOAIを使って社内システムを構築中である。東日本リージョンが使えるようになったことは承知しているのだが、AOAIからの応答が500や429だった場合に、再試行したり、別のAOAIインスタンスにフォールバックするような仕組みを検討している。どのレイヤーで構成するのがよいか？ 確かにAOAIを負荷分散する件は以下のエントリで記述したが、HTTPステータスに応じてフォールバック（というか別インスタンスに転送）する、という問い合わせははじめて受けた。 どうやら下図のようなことを実現したいらしい。 背景 現在のシステムアーキテクチャの主

「ビルトインモジュールが色々あってぜんぜん分からない。俺達は雰囲気で並列処理を使っている」という状態だったので、良くないと思ってPythonの並列処理と並行処理をしっかり調べてみました。 少し長めです。細かいところまで把握するためのもので、仕事などの都合でさくっと調べて使いたい方は別の記事をご確認ください。 使った環境 Python 3.6.1 :: Anaconda 4.4.0 (64-bit) Ubuntu Jupyter notebook（一部マジックコマンドなども利用しています） ※Windowsの場合、マルチプロセスなどで直接Jupyter上で動いてくれない（.pyファイルを経由すると動く）などのケースがあります。 参考 : Jupyter notebook never finishes processing using multiprocessing (Python 3) 並行