はじめに Microsoft Build 2023 で発表された Azure OpenAI Service の On Your Data のパブリックプレビューが開始 しました。体感的には On Your Data は日本国内の全 Azure OpenAI Service ユーザーのうち 8 ～ 9 割程度のユーザーが待ち望んでいた機能ではないかと感じます。(ryohtaka 調べ) What's new in Azure OpenAI Service - June 2023 New easy way to add your data to Azure OpenAI Service (YouTube) しかし、実際に On Your Data を活用するためには気を付けるべきポイントが数多く存在しており、正確な期待値を持ったうえで使うことが非常に重要になってきます。そこで、本記事では On

Azure Open AI「Add your data」のシンプル設定方法、試した結果の比較と「4つの所感 & 解決案？」AzureCognitiveServicesgpt-3AzureOpenAIServiceonyourdata Azure Open AIの新機能「Add your data」の使用方法の概説、試してみた結果、そして私なり感じた4つの所感とその解決策？を紹介いたします。 ※本領域は変化が激しいです。この内容は23年6月24日時点の情報となります 【記事の目次】 23年Buildでのデータサイエンス・AI系のアップデータについて Azure Open AI「Add your data」のシンプル設定方法 Azure Open AI「Add your data」を使用した結果と、ChatGPT、 Bing AIチャットの比較 私の4つの所感と解決案？ 4.1 引用元の引用部

セキュリティチームの ぐっちー です。今回のブログでは Azure OpenAI Service と Azure Web App Service を使って企業専用ChatGPTを爆速で構築する方法が登場したのでご紹介します。技術的な難易度で見ると、めちゃくちゃ簡単で、記事にするか迷いましたが、ここまで簡単になった感動を伝えるために書きました笑 前提条件 今回の手順にはパブリックプレビュー中の機能が含まれます。 以下の状態を前提としています。 Azure OpenAI Serviceはセットアップ（MS社への利用申請・リソースのデプロイ）済みであること。 Azure OpenAI Service、Azure Web Appsを操作する権限が割当たっている事。 本ブログの内容は、2023年6月20日時点までの情報を元に作成しておりますが、クラウドサービスの仕様変更等に伴い、将来的に状況が変化す

この記事では、Azure OpenAI の推論 REST API エンドポイントについて詳しく説明します。 認証 Azure OpenAI には、2 つの認証方法が用意されています。 API キーまたは Microsoft Entra ID を使用できます。 API キー認証: この種類の認証の場合、すべての API 要求で、api-key HTTP ヘッダーに API キーを含める必要があります。 クイック スタートに、この種類の認証を使用して呼び出しを行う方法に関するガイダンスが用意されています。 Microsoft Entra ID 認証: Microsoft Entra トークンを使用して API 呼び出しを認証できます。 認証トークンは、Authorization ヘッダーとして要求に含まれます。 指定するトークンの前に Bearer を付ける必要があります (例: Bearer

はじめに Microsoft Build 2023 で発表のあった Azure OpenAI on your data のパブリックプレビューが開始されました。「on your data」の名前の通り、Azure OpenAI Studio の Chat Playground 上で Azure Cognitive Search のデータを参照し、モデルが知らない内容を答えられるようにしてからノーコードでAzure AD 認証付きチャットアプリのデプロイまでやってしまうという機能です。 内部アーキテクチャ 「on your data」の仕組みは以下のようなアーキテクチャになっていると考えられます。考えられますというのは、Azure Cognitive Search からの Grounding の処理が on your data REST API 内部で行われるため、詳細が隠蔽されているためで

マイクロソフトは、ChatGPTとChatGPT-4に任意のドキュメントなどを読み込ませることで、そのドキュメントに基づいた回答を自然言語で得られる新サービス「Azure OpenAI Service On Your Data」のパブリックプレビューを発表しました。 例えば、社内規約や社内マニュアルなどをChatGPTに読み込ませると、「PCの修理を申し込むための社内手続きは？」といった、汎用の知識だけしか持たない従来のChatGPTでは答えられない質問にも回答できるようになります。 さらに、ChatGPT/ChatGPT-4に任意のドキュメントを読み込ませるための支援ツール「Azure AI Studio」には、そのままチャットボットAIをWebアプリケーションとして公開する機能が備わっています。 これにより、ドキュメントやデータを読み込ませるように設定したチャットAIのサービスを、簡単

「社内のアレ分からん、教えてAI」実現　Microsoftの“自社版ChatGPT作成サービス”にデータ取り込み機能 米Microsoftは6月19日（現地時間）、大規模言語モデル「GPT-3.5」などのAPIをクラウドサービス「Microsoft Azure」上で使える「Azure OpenAI Service」に、新機能「On Your Data」を追加した。ローカルやAzure上のストレージに保管するテキストファイルやPDF、PowerPointファイルを、GUIの操作でチャットAIに参照させられるという。まずはパブリックプレビュー版を提供する。 これにより、社内で分からないことがあったときに何でも質問できるAIチャットbotなどを作成しやすくなるという。 Microsoftが提案する活用例では、ユーザーの「サポートチケットはどうやって作る？」（How do I create a s

We are excited to announce the launch of Azure OpenAI Service on your data in public preview, a groundbreaking new feature that allows you to harness the power of OpenAI models, such as GPT-4, with your own data. This new and highly requested customer capability revolutionizes the way you interact with and analyze your data, providing greater accuracy, speed, and valuable insights. Let’s explore t

はじめに 23年6月19日にAzure OpenAIに独自データを追加できる機能「Add your data」がパブリックプレビューで発表されました。GPTは自分が知らない情報に関して、答えることができないですが、この機能を使うことで独自のデータとGPTモデルを簡単に連携させることができ、GPTが知らない独自のデータを参照して回答を生成できるようになります。また、回答のソースを独自データに限定することもできるので、ChatGPTの活用の幅が大きく広がります。 一通り使ってみたので、具体的な利用方法を解説していきます(公式ドキュメントにも詳しく記載されています)。 (23年9月追記) Add your dataにベクトル検索の機能が追加されました。詳細はこちらのブログで丁寧に解説されていますので、ご参照ください。 独自データの追加 使えるモデルはチャット形式のモデル「gpt-3.5-turb

セキュリティチームの ぐっちー です。Azure OpenAI Service において新しくパブリックプレビューが開始された「on your data 機能」を使ってChatGPTに自社データを組み込む方法を紹介したいと思います。 3行サマリー 従来、ChatGPTに自社データを組み込むためには、APIを使った開発が必要であり、開発を専門としない人間が片手間で実施するには難易度の高いものでした。 新しく登場したAzure OpenAI Service「on your data 機能」を使うと、GUI上での簡単な操作で自社データをChatGPTに組み込むことができるようになりました。 精度を高めるには、データセットの整備やPrompt engineeringをキッチリ実施していく必要があり、依然としてそれらは難易度が高いですが、ChatGPTのビジネス活用に大きな前進をもたらしたアップデー

3. Embedding って何？ それでは、Embedding を使っていきたいのですが、そもそも Embedding とは何かを分からなければ、どう使ったら良いかも分からないので、Embedding について簡単な概念だけでも抑えておきたいと思います。 結論から言うと、高校時代に習ったベクトルの考え方を利用します。 高校時代に習ったベクトルでは、２つの矢印を比べて、同じ方向に線が向いていて、同じ長さならば、それらは同じベクトルと習いました。この方法を利用して、長さと向きができる限り近いベクトルを探し出せば、それが一番似ているということになります。下の図では青い線は全く同じベクトルですが、このベクトルに一番近いベクトル「①」を探し出せれば、それが一番近い内容になります。 実際に Embedding の、text-embedding-ada-002 モデルに対して、自然言語の文字列を渡すと

はじめに Azrue OpenAI Service に クォータ管理が追加されました。Azure OpenAI Service を含むアーキテクチャー検討にも影響する重要な機能追加ですので情報をまとめました。 クォータ管理でできること クォータ管理を使うと、ユーザーのサブスクリプション・リージョンごとに与えられた Tokens Per Minute (TPM) のクォータを、各デプロイに対してユーザー任意の値 (1K 単位) で割り当てることができます。これにより、独自にスロットリングを実装しなくてもワークロードごとに利用できる TPM に制限をかけることができるようになりました。 なお、Requests Per Minute (RPM) に関しては、今後は 1K TPM あたり 6 RPM という値が自動的に適用されるようです。 デプロイが作成されると、割り当てられた TPM は、推論要

このエントリは2023/06/08現在の情報に基づいています。将来の機能追加や変更に伴い、記載内容からの乖離が発生する可能性があります（2024/01/23情報を更新）。 Azure OpenAI Service (以下、AOAI) を使ったシステム開発やコンポーネント配置について多く問い合わせをもらっているので、備忘録がてら記載しておく（実のところ、どのサービスであっても同じ考え方が適用できるのだが）。 問い合わせ AOAIを使い、業務にAIの能力を組み込みたいと考えている。ただ、現在のAOAIの制約ではすぐにRate limitにヒットしそうなので、なんとか複数インスタンスへの負荷分散をしたい。おすすめの方法はないか？ AOAIのQuotaと、利用可能なモデルは以下に記載がある。 Azure OpenAI Service のクォータと制限 / Azure OpenAI Service

米Microsoftは6月7日（現地時間）、米連邦政府向けに提供しているクラウドサービス「Microsoft Azure Government」に、米OpenAIの「GPT-4」などのAIモデルへのアクセス機能を追加したと発表した。 同社の「Azure OpenAI Service」により、政府機関のコンテンツ生成の高速化、レポートとログの要約作成、検索の最適化、コードの簡素化を支援する。 Microsoftは、「政府データの機密性を考慮し、より厳格なセキュリティとコンプライアンス標準を提供する」としている。Azure Governmentにはそもそも、機密情報保護のために、公共のインターネットやMicrosoftのネットワークには接続しない独自の暗号化ネットワークがある。 関連記事 GPT-4搭載の「新しいBing」、誰でも利用可能に　新機能も多数追加 オープンプレビュー」に移行した。こ

かつてMicrosoftの社内用Linuxディストリビューションとして開発されていた「Azure Linux」が、2022年10月からのパブリックプレビューを終え、ついに正式リリースとなりました。Azure LinuxはMicrosoftのクラウドサービス「Azure」に最適化されており、軽量で安全性や信頼性が高いことを特徴としています。 Introducing the Azure Linux container host for AKS https://techcommunity.microsoft.com/t5/azure-infrastructure-blog/introducing-the-azure-linux-container-host-for-aks/ba-p/3824101 Azure Linux released at Build – where Microsoft r

マイクロソフト、プロンプトエンジニアリングツールなどを含むAIアプリケーションの統合開発環境「Azure AI Studio」発表。Build 2023 マイクロソフトは、開発者向けのイベント「Microsoft Build 2023」で、AIサービスの開発に必要な一連のツールを統合した「Azure AI Studio」を発表しました。 Azure AI Studioを用いることで、開発者は独自のCopilotのような機能を開発できるようになります。 「これはAIアプリケーション開発のためのライフサイクル全体に渡るツールチェーンだ」（マイクロソフト CEO サティア ナデラ氏）

米国時間2023年5月23日から開催されたMicrosoft Buildは、歴史的な瞬間となりました。データアナリティクスの世界において世界初となるエンドツーエンド（E2E）のSaaS*1型アナリティクスサービス、Microsoft Fabric（以降「Fabric」）の登場です。Microsoft Fabricは業界の常識を覆すほどのインパクトを持ち、ビッグデータ分析、セルフサービス分析、データサイエンスプロジェクトなど、あらゆるデータニーズを満たす革新的なクラウドサービスが誕生しました。 Microsoft Power BIの製品チームに所属していることもあり、Fabricについては入社時に知るようになりました。今回のMicrosoft Buildでその瞬間に立ち会えることができ、非常に嬉しく思います。今まではPower BIを広める立場ということで他のAzureサービス*2との関わり