前回の記事でプロビジョニング済みモデルのデプロイについてご紹介しましたが、今回はGPT-4oで利用できるグローバル標準のデプロイについて書きます。 blog.jbs.co.jp 概要 Azure OpenAI Serviceのデプロイのタイプ グローバル標準とは デプロイ方法 ベンチマークでの比較 モデル比較 指標 テスト項目と結果 箱ひげ図 まとめ 概要 Azure OpenAI Serviceではいくつかのモデルのデプロイ方法が用意されており、グローバル標準はGPT-4oで利用できるデプロイ方法になります。 Azure OpenAI Serviceのデプロイのタイプ Global-Standard(GPT-4oのみ) Standard Provisioned データの所在地 特定できない 特定できる 特定できる 課金モデル トークン単位の支払い トークン単位の支払い 月単位のコミットメ

本記事では、OpenAIを使用したシステム構築時に遭遇しやすい問題を解説しています。具体的には、消費トークンの計算方法、AIが生成した文章が途中で途切れたときの対策、そしてタイムアウト時間の設定について詳細に説明します。 これらのテクニカルな問題を解決することで、より効果的にOpenAIを活用することが可能になります。 概要 消費トークン数の計算 リクエスト前に消費トークンを計算する リクエスト後の消費トークンを表示する openai LangChain AI生成文章が途切れた時の対処法 文章が途切れたことを検知する 途切れた文章の続きを生成する タイムアウト時間の設定 openai LangChain おわりに 概要 今回の記事では、OpenAIを使用してシステム構築する際に詰まりやすいと感じたポイントを3つご紹介します。 消費トークンを事前もしくは送信後に計算する方法 AIの記載した文

Azure Machine Learningでprompt flowの機能が実装されました。 本機能はLLMの専門ライブラリを使わなくても視覚的に開発を行うことができます。APIのデプロイやテストなどの機能も用意されており、今後のLLMシステム開発において一貫したプラットフォームとして活用することができます。 本記事ではplomt flow機能の立ち位置から、導入方法とチュートリアルの実行方法までを解説します。 概要 Prompt Flowとは？ チュートリアル実行手順 接続の作成 ランタイムの作成 Prompt Flowの作成 既存のライブラリとの違いは何か おわりに 概要 2023年5月のMS Buildで、Azure Machine Learningにprompt flowの機能がプレビューされました。 prompt flowは、プロンプトエンジニアリングにおける内部的な仕組みを視覚

Azure OpenAIのモデルにおいてトークン数は料金やリクエストの制限に関わることなので重要な要素です。 APIからの回答の中に使用したトークン数が記載されていますが、それ以外の方法でトークン数を数えたい場合もあります。 今回は私がよく利用しているgpt-35-turboモデルのトークン数の数え方について調査したのでこの記事で共有したいと思います。 この記事の対象者 環境 なぜトークン数を数える必要があるのか？ 自分がつまずいた点：Promptはどのように数える？ Completionは？ 実際に試してみた Pythonの場合 C#の場合 まとめ この記事の対象者 この記事は、「基本的なトークンの数え方はわかったが、gpt-35-turboモデルでどのように扱えばいいか分からない」という方向けに書きました。 基本的な方法は以下の記事を参考にしてください。 blog.jbs.co.jp

ChatGPTのプラグイン作成方法については、前回のブログに記載しました。 https://blog.jbs.co.jp/entry/2023/06/08/121455 今回は、ChatGPTのプラグインにAzure AD認証機能を実装して、Azure Web AppsのようなPublicのWebサーバーに展開する方法について調べてみました。 システム構成イメージ 作業概要 作業手順 Visual StudioでBlazor Serverアプリを作成 Azure Web Appsをデプロイ Program.csを修正 ai-plugin.jsonを修正 Web Appsに再デプロイ ChatGPT Pluginsで読み込み Web Appsのプラグインが使用できる事を確認 まとめ システム構成イメージ システムの構成イメージは下記になります。 ChatGPTのプラグイン実装だけを考慮すれば

使ったことがある方はわかると思いますが、ChatGPTでは回答の文章が少しずつ表示されます。これによってユーザーの待ち時間が短くなるという効果が期待できると思います。 これをAzure OpenAIのAPIを使った場合に実装できるか気になったので調査してみました。 環境 ポイント 実装してみる 動作確認 検討事項 終わりに 参考 環境 Microsoft Visual Studio Professional 2022 (64-bit) 17.4.3 コンソールアプリ（.NET 7） ポイント Azure OpenAIのドキュメントでRest APIの仕様を確認すると、パラメータにstreamという項目があります。 learn.microsoft.com 何も設定しないとfalseなのですが、ここをtrueにすることによって結果を少しずつ返してくれます。 つまり、返ってきた結果を都度表示して

日々更新があるAzureOpenAIですが、6月の更新情報がアップされたのでお知らせしたいと思います。 learn.microsoft.com 概要 英国南部リージョンの追加 コンテンツフィルタのカスタマイズ 手順 クォータ制限 変更前 変更後 クォータ制限の変更点 設定方法 まとめ 概要 英国南部のリージョン追加（gpt-35-tuboのみ） コンテンツフィルタのカスタマイズができるようになった クォータ制限が各リソースごとからリージョン全体に変わった の３点となります。特に影響が大きいのは3つ目のクォータ制限のところになります。順番に紹介します。 英国南部リージョンの追加 英国南部リージョンでもサービスが開始されました。 ドキュメント上は米国東部、米国中南部、フランス中部、西ヨーロッパ、英国南部の5つのリージョンがありますが、2023年6月14日の時点で新規にリソースを作成できるのは米

先日JBSではアイプリシティ チャットを発表しました。 www.jbs.co.jp 現在アイプリシティ チャットをJBS社内で提供していますので、2023年5月9日時点でサービス提供の際にAzure OpenAI Serviceの監視について調べたことや実際の監視項目について書きたいと思います。 監視する項目 リソース使用量のひっ迫が近いか知りたい 呼び出し数 トークン数 料金が知りたい 不正なAPIの利用がないか知りたい まとめ メトリックについて 診断ログ 監視する項目 監視に関してはドキュメントがあるので迷ったらこちらを見ることをお勧めします。 Azure OpenAI Service の監視 - Azure Cognitive Services | Microsoft Learn そのうえでまず考えるのはどのような項目を監視したほうが良いかですが、監視したい観点は主に3点かと思いま