Azure OpenAI Studioに新たに追加されたAssistants機能により、独自のドキュメントベースで質問に回答したり、Pythonコードを実行してGPTモデルの能力を強化したりすることが可能になりました。 この記事では、Assistants APIの使い方、コードインタープリター機能を活用したデータ分析を解説します。また実際のデータを使用してAssistantsを構築・機能のテストを行い、使用するまでの一連の流れを紹介します。 概要 コードインタープリター Function Calling（関数呼び出し） Assistantsの作成 機能のテスト Azure OpenAI Studio UI上から実行する ソースコードから実行する おわりに 概要 Azure OpenAI StudioにAssistants（Preview）の機能が実装されました。 learn.microso

自社のデータを基に回答をさせるAzure OpenAI Serviceを利用したChatシステムを作る際の最適な方法について、今回はRAG（Retrieval Augmented Generation）の仕組みを中心に解説します。 ※ 本記事は、以前にハイブリットクラウド研究会で発表した資料をベースに、ブログ用に再編集したものとなります アプローチの比較 データを参照して回答を生成する モデルに学習させる 比較表 RAGのアーキテクチャ RAGの流れ RAGのプロンプト まとめ アプローチの比較 自社のデータを基に回答をさせるAzure OpenAI Serviceベースのチャットシステムを作る際には、大きく分けて以下の2つのアプローチがあると考えています。 データを参照して回答を生成する モデルに学習させる データを参照して回答を生成する RAG（Retrieval Augmented

OpenAI DevDayで発表されたGPT-4のマルチモーダルモデルであるGPT-4 Turbo with Visionが、Azure OpenAIでもプレビュー機能として使用できるようになりました。 今回の記事では概要と簡単な使用方法に触れていきます。 概要 前提条件 モデルの使用データ リージョン 読み込みモードとトークン数の計算方法 low high auto 使用可能なトークン数 モデルのデプロイ GPT-4 Turbo with Visionモデルの使用 プレイグラウンド 追記：動画を送信する場合 Python おわりに 概要 GPT-4 Turbo with Visionモデルは以下のような特徴があります。 文字＋画像を送信して、文字の返答を得る 2023年4月時点のデータで学習 最大トークン数が大幅に拡張されている 11月に先行リリースされたGPT-4 Turboモデルにつ

Azure OpenAI Serviceで新しくなったコンテンツフィルターとブロックリストについて試してみました。 特に、新しいコンテンツフィルターのJailbreak risk detectionは、プロンプトインジェクションへの対策でも活用できると思います。 概要 コンテンツフィルターの機能概要 ブロックリストの機能概要 Jailbreak risk detection（脱獄リスク検出）の使い方 コンテンツフィルターの作成 コンテンツフィルターをモデルに適用する Jailbreak risk detectionのテスト 通常のフィルターでのテスト Jailbreak risk detectionを有効にしたフィルタでのテスト ブロックリストの使い方 ブロックリストの作成 ブロックリストを含んだコンテンツフィルターの作成 ブロックリストを含んだコンテンツフィルターをモデルに適用する ブロ

先日開催された「Microsoft Ignite 2023」で発表されたMicrosoft Copilot Studioの生成AI機能について、今回は触れてみたいと思います。 私自身はCopilot Studioの前身にあたるPower Virtual Agentsも触ったことがないので、Copilotを簡単に作ることができるのかも観点に触れてみたいと思います。 Microsoft Copilot Studioとは Microsoft Copilot Studioの利用方法 事前設定 Copilotの作成 Copilotのテスト Copilotの公開 まとめ Microsoft Copilot Studioとは Copilot StudioはMicrosoft 365用のCopilotをカスタマイズ、管理することができるプラットフォームサービスです。 前身がPower Virtual Ag

以前10日間連載を実施してきましたが、延長戦として2023/11/14~11/17の間で開催されていたMicrosoft Ignite 2023の情報を踏まえた更新情報をまとめたいと思います。 また、今回はアドベントカレンダー企画への参加ということで、以下2つの企画へ参加しております。 Microsoft Top Partner Engineer's Advent Calendar 2023 Microsoft 365 Advent Calendar 2023 本投稿の概要 製品名の変更 Copilot Studioの発表 Copilot Studioの機能 従来のPower Virtual Agents（チャットボット）のカスタマイズ トピック プラグインアクション 生成型の回答 Copilot for Microsoft 365のカスタマイズ 会話プラグイン（Copilotプラグイン）

最近、OpenAIから新たにGPTsが発表され、その可能性に注目が集まっています。そこで、GPTsの機能をAzure AI Searchと組み合わせることで、新しいデータ検索が可能であるか調べてみました。 この記事では、GPTsとAzure AI Searchを連携させることによって、データアクセスと情報検索がどのように変わるか、その実践的な試みと成果についてご紹介します。 GPTsとは？ Azure AI Searchの概要 Azure Web Appsの役割 データについて GPTsとAzure AI Searchを連携させた結果 GPTsをAzure AI Searchに接続する設定方法 Azure AI Searchのセットアップ Azure AI Searchの作成 データの保存 Azure AI Searchからデータをインポート インデックスで検索 Azure Web App

OpenAIでは既にリリースされていますが、AzureでもFine-TuningがAzure OpenAI Serviceの新しいfine-tuningモデルのプレビューとして利用可能になったため、試してみました。 この更新にはChatGPTモデル（gpt-3.5-turbo-0613）も含まれております。社内データでファインチューニングしたChatGPTモデルを利用することによって、今までのChatGPTモデルよりもハレーションの少ない回答をすることが期待できます。 使えるファインチューニングモデルの種類 モデルの種類 使えるリージョン クォーター ファインチューニングモデルを作ってみる リソースのデプロイ 権限の付与 トレーニングデータの用意 カスタムモデルの作成 モデルのデプロイ ファイチューニングしたモデルを使ってみる 通常のChatGPTモデルでテスト ファインチューニングしたモ

Azure OpenAI Serviceに文書生成の「InstructGPT」モデルが実装されました。それに伴って、いくつか既存のモデルが使えなくなるアップデートが今後実施されます。 本記事ではgpt-35-turbo-instructモデルのデプロイから使用方法までを解説します。また実際に旧モデルと出力結果がどのように違うのか、簡単に検証したため、その結果について記載します。 InstructGPTモデルへの移行 InstructGPTモデルの概要 InstructGPTモデルの使用方法 モデルのデプロイ プログラムの構築 検証 分類 文章生成 コード生成 おわりに InstructGPTモデルへの移行 InstructGPTモデルの実装に伴い、文章生成と埋め込みの役割を持ったモデルが複数廃止されます。 Microsoftからは以下の通り案内されています。 learn.microsoft

Azure OpenAI on your own dataにいくつかの機能追加がありました。 ベクトル検索とセマンティック検索が追加されたことによって日本語の精度が向上していますので、この記事ではベクトル検索とセマンティック検索の追加機能を中心にご紹介いたします。 Azure OpenAI on your own dataのおさらい Azure OpenAI on your own dataの追加機能 ベクトル検索とは セマンティック検索 デプロイ リソースのデプロイ データの準備 Azure OpenAIにモデルをデプロイ add your dataの設定 検索のテスト Webアプリのデプロイ 検索比較 キーワード検索 ベクトル検索＋セマンティック検索 検索結果が異なる理由 データ準備 チャット まとめ Azure OpenAI on your own dataのおさらい Azure O

7月にAzure OpenAI ServiceでもFunction calling機能が利用できるようになりました。 Function callingは、ChatGPTのAPI呼び出しの際に関数の情報を渡し、AIモデルと連携して関数呼び出しをサポートする機能です。 これだけ聞くと、GPTを他の関数やAPIと組み合わせて利用することを想像し、普段使いする機会は少ないと感じてしまうと思いますが、実は普段でも利用できる機能があることをご存じですか？ 本記事では、普段使いできるFunction callingの活用方法を紹介します。 Function calling とは 活用例 準備 目標 Function callingを使用しないと… Function callingを使わずZero-Shotで回答生成 Function callingを使わずOne-Shotで回答生成 Function c

前回の記事では、ChatGPTという自然な対話を可能にするAI言語モデルの魅力と活用例の第一弾として、AI関連の用語からChatGPTの仕組みについて投稿しました。 今回は第二弾として、「ChatGPT」の自然な対話を可能にするAI言語モデルの魅力と活用例（２）をご紹介します。 ChatGPTは2022年11月に公開されて以来、様々なジャンルに対して的確な回答をAIチャットボットが提供することで話題になりました。ChatGPTは使いやすさもさることながら、性能は今後も向上していくと考えられています。ユーザーのサポート役として非常に有益なツールとなることは間違いありません。 ChatGPTの基本動作 実際にプロンプトを入力してみる 表形式でまとめて答えてもらう データの分類をしてもらう 方言にも対応しているChatGPT おわりに ChatGPTの基本動作 ChatGPTから自分が欲しい回答

現代のテクノロジーの進化により、私たちの生活はますますデジタル化され、コミュニケーションはオンラインで行われることが一般的になってきています。 その中で、最近注目されているのが自然言語処理（NLP）です。NLPは、人間の言語をコンピューターが理解し、処理するための技術です。 その進歩により、音声アシスタントやチャットボットとのやり取りが容易になりました。この記事では、「ChatGPT」に焦点を当て、その仕組みや機能、実際の利用例について紹介していきます。 これだけは押さえておきたい生成系AI用語 生成系AIの用語説明 類似用語の整理 「大規模言語モデル（LLM）」と「自然言語処理（NLP）」との違い 「生成AI」とはなにか ChatGPTとは ChatGPTの何が凄い？ ChatGPTは何を学習している？ ChaGPTの得意なことと注意点 おわりに これだけは押さえておきたい生成系AI用語

Azure OpenAIがついに東日本リージョンで使えるようになりました。 東日本リージョンを使うメリットと2023年8月14日現在で東日本リージョンで使えるモデルの種類と、東日本リージョンのAzure OpenAI更新のタイムラインをご紹介します 東日本リージョンを使うメリット 監査のログが国内に保管される NW速度の改善 東日本リージョンで利用可能なモデル 東日本リージョン更新のタイムライン まとめ 東日本リージョンを使うメリット 監査のログが国内に保管される まずは何と言っても監査のログを含めて国内だけにデータがたまることが最大のメリットかと考えます。 個人データなどの国外移転が難しいケースがありましたが、東日本リージョンを利用することで上記のようなケースにも対応することが可能です。 また以前ブログでAzure OpenAI以外のリソースを東日本に作成する構成をご紹介しましたが、より

ChatGPTのプラグイン作成方法については、前回のブログに記載しました。 https://blog.jbs.co.jp/entry/2023/06/08/121455 今回は、ChatGPTのプラグインにAzure AD認証機能を実装して、Azure Web AppsのようなPublicのWebサーバーに展開する方法について調べてみました。 システム構成イメージ 作業概要 作業手順 Visual StudioでBlazor Serverアプリを作成 Azure Web Appsをデプロイ Program.csを修正 ai-plugin.jsonを修正 Web Appsに再デプロイ ChatGPT Pluginsで読み込み Web Appsのプラグインが使用できる事を確認 まとめ システム構成イメージ システムの構成イメージは下記になります。 ChatGPTのプラグイン実装だけを考慮すれば

Microsoft Build 2023ではプラグインが話題となりました。 このプラグインの機能はChatGPT、Bing Chat、Microsoft 365 Copilot等で活用される予定もあり、これからエンジニア界隈ではプラグインを作成する機会がどんどん増えてくると思います。 今後、自社のアイプリシティ チャットにもプラグイン機能を搭載する事があるかもしれません。 その可能性を探るため、今回はChatGPTのプラグインを自作し、Azure Cognitive Searchに接続してみました。 プラグインの構築方法 データについて 作業概要 作業手順 Visual StudioでBlazor Serverアプリを新規作成 必要なNuGetパッケージをインストール Program.csを修正 Controller.csを追加 .well-knownフォルダを作成し、ai-plugin.

MicrosoftからSemantic Kernelが提供されています。 これまでに作成した下記記事の内容について、Semantic Kernelを使用してAzure Cognitive Searchに接続し、同様のことが実現できるプラグインを作成できるのか試してみました。 Azure OpenAIのChatGPT APIとGPT-４を利用してFAQチャットボットのようなシステムを作れないか再検証してみた - JBS Tech Blog 具体的には、下記の画像のようなアウトプットを取得できるのか試してみました。 作業概要 作業手順 コンソールアプリを作成 ネイティブプラグインを作成 セマンティックプラグインを作成 セマンティックプラグインとネイティブプラグインをディレクトリに配置 コンソールアプリを実行 まとめ Semantic Kernelを使用すると、GPTを便利にアプリ開発に活用する

企業が自社のデータベースに蓄積した固有情報を検索する場合、そのままChatGPTに質問を投げても回答を得ることはできません。これはモデル自体が固有の情報を知らないため、うまく回答を返すことができないという課題があるためです。 現在これを解決するため、各社でプラグインの開発などが行われている状況です。 本記事では蓄積されたFAQ情報を用いて、チャット形式で情報を引き出すような仕組みを構築します。 概要 実装方法 アーキテクチャ 実装方法の概要 前準備 ナレッジ検索ChatGPT デモ 使用するデータセット 過去の生成結果（ChatGPT、Fine Tuningモデル） 処理手順 入力する文章 前準備 ナレッジ検索ChatGPT 質問文の入力 質問文→キーワード抽出(ChatGPT) キーワード検索(Cognitive Search) 回答の生成(ChatGPT) レスポンスを作成する その他

先日JBSではアイプリシティ チャットを発表しました。 www.jbs.co.jp 現在アイプリシティ チャットをJBS社内で提供していますので、2023年5月9日時点でサービス提供の際にAzure OpenAI Serviceの監視について調べたことや実際の監視項目について書きたいと思います。 監視する項目 リソース使用量のひっ迫が近いか知りたい 呼び出し数 トークン数 料金が知りたい 不正なAPIの利用がないか知りたい まとめ メトリックについて 診断ログ 監視する項目 監視に関してはドキュメントがあるので迷ったらこちらを見ることをお勧めします。 Azure OpenAI Service の監視 - Azure Cognitive Services | Microsoft Learn そのうえでまず考えるのはどのような項目を監視したほうが良いかですが、監視したい観点は主に3点かと思いま

Azure OpenAIにはOpenAI社の提供するAPIとの相違点として、Azure AD認証を使用してAPIを呼び出すことができるという大きな特徴があります。 本記事ではこれを用いて、セキュアな環境でAzure OpenAI Serviceにアクセスするまでの手順を解説します。 概要 手順 認証用アプリケーションの作成 認証を行う Azure Active Directory認証でリクエストを送信する Azure Key Vaultに格納したシークレットでリクエストを送信する 終わりに 概要 Azure OpenAI Serviceを使用するためには認証が必要です。 認証にはAPIキーを使用する方法と、Azure Active Directoryを使用した方法の2種類が存在します。 learn.microsoft.com キー認証の場合、アクセスキーが漏洩してしまうと誰でもAPIを使え