本記事では、Difyで作成したワークフローをDifyのエージェントと連携させる方法を解説します。 具体例として、Anthropicが公開しているプロンプトテンプレートを使用したシナリオを紹介し、実際の設定手順を詳しく説明します。 Difyのワークフローとは？ Difyのエージェントとは？ 作業手順 作業詳細 Difyでワークフローを作成する Curlでワークフローにテスト接続する 大規模言語モデルを使用して、OpenAPIのSwagger定義を作成する Difyのエージェントにカスタムスキルを追加する 実行結果 まとめ Difyのワークフローとは？ Difyのワークフローは、AIを使ってアプリを簡単に作る事が出来るツールです。 ブロックを並べるようにして作業を組み立てられます。 たとえば、「質問に答える」「情報を探す」「条件に応じて動作を変える」などのブロックがあり、これを使って複雑なプロ

2024年4月にOpenAIの新機能として、Batch APIがリリースされました。本記事では、Batch APIの概要・実際の操作方法・レート制限について説明します。 Batch APIについて 概要 Batch APIを使用すべき場面 Batch APIに対応しているエンドポイント Batch APIを実際に使ってみる 全体の流れ 操作方法 jsonl形式のバッチファイルを作成する バッチファイルをFiles APIでアップロードする バッチジョブを送信する バッチジョブのステータスを確認する 結果を受け取る Batch APIのレート制限の詳細 Per-batch limits（バッチごとの制限） Enqueued prompt tokens per model（モデルごとの待機状態のプロンプトトークン数） 最後に Batch APIについて 概要 OpenAIのBatch APIで

最近話題になっているDifyを使用して、Azure AI Searchに接続してRAG検索できるのか試してみました。 Difyとは？ Difyの使用方法 DifyとAzure AI Searchの接続方法 Difyのカスタムツールの作り方 Difyのツールを選択する カスタムツールを作成する GPTsで設定していた内容を記載する テストボタンを押して動作確認する Difyでエージェントを作成し、ツールを追加する RAG検索してみる まとめ Difyとは？ Difyは、アプリを作るためのプラットフォームです。特に、大きな言語モデルを使ったアプリ作成に便利です。 言語モデルとは、文章を理解したり生成できるAIのことです。Difyを使えば、開発者が様々な機能を自由に組み合わせて、自分たちのニーズに合ったアプリを簡単に作ることができます。 例えば、翻訳アプリやチャットボットなどを簡単に作ることが出

先日OpenAIから発表されたGPT-4oですが、現在はプレイグラウンド内でのみ利用可能ですが、Azureでもテストすることができますので、その紹介をさせていただきます。 概要 良くなったところ Azureの現時点（2024/5/14）での制限事項 プレイグラウンドでの使い方 GPT-4 Turboとの比較 GPT-4 Turboの回答 GPT-4oの回答 まとめ 概要 日本時間2024/5/14未明にOpenAI社からGPT-4oが発表されました。 https://openai.com/index/hello-gpt-4o/ GPT-4oは活発な会話のスキルがあり、写真や図表などの画像の理解力が高まったとあります。 Microsoftからの発表では以下の通り、テキストとビジョンの入力に焦点を当ててリリースされています。 Introducing GPT-4o: OpenAI’s new f

3月に、Azure OpenAI Studioで「リスクと安全性の監視」という新機能が追加されました。 実際には、コンテンツフィルタにblockされた履歴が表示できる、という機能のようです。この新しい機能についてご紹介します。 Azure OpenAI Studio でリスクと安全性の監視を使用する方法 - Azure OpenAI Service | Microsoft Learn 利用できる条件 利用可能なリージョン 利用出来ないリージョン 確認方法 表示のテスト フィルタに抵触するコンテンツ プレイグラウンドでテスト リスクと安全性画面の確認 まとめ 利用できる条件 リージョンによって利用できるところと利用出来ないところがあるようです。残念ながら東日本リージョンでは使えません。モデルのバージョンでの際は特に無いようです。 手元の検証環境でいくつか確認しましたが。2024年4月19日現

近年、WhisperやGPT-4 Turbo Visionなどの実装によってマルチモーダル化が進んでいます。またAzure AI Service上で使用できるモデルの種類も増加し、容易に使用できるようになりました。 今回の記事では音声系のAIを使用したチャットボットを構築します。ChatGPTを使用するためにはキーボードから文字を入力する必要がありますが、音声のみで完結する仕掛けを目指します。また、発声からレスポンスまでのユーザーの待機時間がどの程度になるのかを検証します。 概要 実装 前準備 Azure環境 Azure OpenAI Service Azure AI Speech Service (音声サービス) ローカル環境 関数を定義する 1. Speech-to-Text 2. ChatGPT 3. Text-to-Speech 1~3の関数を使用して音声チャットを開始する 動作検

Azureに仮想マシンを作成する際に、繰り返し作成削除を繰り返す要件があったので、Bicepでコード化することを考えました。 以前は一から作っていたのですが、ちょうどGitHub Copilotが利用できる状態だったので、せっかくなのでGitHub Copilotを使ってBicepファイルから仮想マシンを作成してみました。 GitHub Copilot の概要 GitHub Copilotを利用するためには Bicepファイルの作成 新規作成 NSGを追加し、HTTPの通信を許可する 仮想マシンをAzure Compute Galleryから作成する 仮想マシンの作成 PowerShellスクリプトの作成 PowerShellスクリプトの修正 仮想マシンの作成 おわりに GitHub Copilot の概要 GitHub Copilot は AIによってコーディングをアシストしてくれるサー

Azure AI Searchではベクトル検索の機能が利用できますが、プログラム経由で検索を行うためにテキストをそのまま渡してもベクトル検索が行えませんでした。 本記事では、プログラム経由でベクトル検索を行う手順を紹介します。 前提条件 ベクトル検索実施手順 作業概要 コンソールアプリプロジェクトの作成 必要なパッケージのインストール 検索文字列のEmbbeding ベクトル検索 おわりに 前提条件 以下の環境で実施いたしました。 Azure OpenAIリソースを作成し、「text-embedding-ada-002」をデプロイ Azure AI Searchリソースを作成し、ベクトル検索を有効化したインデックスの作成(ベクター化は上記モデルで実施) C# .Net 8 ベクトル検索実施手順 作業概要 作業は以下の手順で実施します。 コンソールアプリプロジェクトの作成 必要なパッケージの

以前にAzure OpenAI ServiceのChatGPTモデルのFine-Tuningについて記載しましたが、このFine-Tuningに継続的な微調整（Continuous fine-tuning）が追加されました。 つまり、以前作ったモデルに追加で学習をすることが出来るようになるということなので、早速試してみました。 blog.jbs.co.jp 概要 追加データの用意 追加のFine-Tuningの作成 学習結果の確認 以前のモデルでの確認 Continuous fine-tuningしたモデルでの確認 考察およびまとめ 概要 Microsoftのドキュメントでは、「微調整されたモデルを作成したら、さらに微調整を行いモデルを改良することができる」とあります。 Azure OpenAI Service を使用してモデルをカスタマイズする - Azure OpenAI | Micr

先端技術部テクノロジーリサーチグループの渡邊です。 テクノロジーリサーチグループでは、今期から「インダストリアルメタバース」に関する技術調査を行っており、NVIDIAのオープンソースAIロボットJetBotを使って以下のような検証を計画しています。 AIを使った自律移動 デジタルツインによる可視化 デジタルツインによるシミュレーション 前回の記事（AIロボット「JetBot」を組み立てる - JBS Tech Blog）では、ハードウェアの組み立てを紹介いたしました。 今回は公式のソフトウェアをインストールし、AIモデルによるロボットの動作確認を行います。JetBotの公式リポジトリは約2年更新されておらず、2024年2月に動かすにはやや工夫が必要でした。 Jetson Nanoのセットアップ jetbotソフトウェアのセットアップ 公式JetBotリポジトリをクローンします。 設定スクリ

OpenAI DevDayで公開された新モデルのうち、Azure OpenAI Service上でGPT-4 Turboなどが使用可能になりました。 本記事ではGPT-4 Turboなどの概要と使用方法について解説します。 概要 ChatGPT 1106モデル概要 トレーニングデータ 入力可能なトークン数 料金体系 クォーター制限 デプロイ方法 APIの重要な変更 最新のopenaiライブラリについて JSON Mode seed値 おわりに 概要 11月7日のOpenAI DevDayでGPT-4 Turboやvisionモデル、DALL・E 3やWhisper v3などの最新モデルが発表されました。 11月18日より、Azure OpenAI Service上でGPT-4 Turboなどの一部モデルが利用可能になったため、本記事ではAzure OpenAIベースで最新のChatGPTモ

本記事では、Azure OpenAI のGPT4 Turbo(1106-preview)バージョンで発生するUnicodeバグについて検証を行い、解決策について解説しています。 はじめに 検証目的 バグが発生するモデル 検証環境 検証内容 検証に使用するコード function calling messages リクエスト送信 検証 日本語のプロンプト 日本の首都はどこですか？ Azure OpenAIの使い方を教えて 2024年3月1日の東京の天気を教えて 英語のプロンプト Let me know what the weather will be like tomorrow in Los Angeles. Tell me the weather in Tokyo on March 1, 2024 その他の言語 日本首都在哪里？ 일본의 수도는 어디인가요? Где находится с

前に投稿した記事では、Power AppsとAzure OpenAI Service（以下、Azure OpenAI）をカスタムコネクタ経由で連携する方法を紹介しました。 この実装ですが、Power Appsではなく、Power Automateを利用して行う事も可能です。 今回は、Power Automate上でカスタムコネクタを使用してAzure OpenAIと連携する方法と、カスタムコネクタを使用しないで連携する方法の2つをご紹介します。 アーキテクチャと完成イメージ フローの作成を始める前に カスタムコネクタを使用したフローの作成方法 フローの準備 Power AppsアプリとPower Automateフローを連携 カスタムコネクタを経由しないフローの作成方法 フローの準備 Power AppsアプリとPower Automateフローを連携 おわりに アーキテクチャと完成イメー

Azureの最新AI技術、GPT-4 Turbo with Visionは、写真やドキュメントの画像からテキストを読み取り、内容を理解できる高度な画像分析機能を備えたGPT-4モデルです。 さらに、Azure AI VisionのOCR（光学文字認識）拡張機能と組み合わせることで、このモデルの能力は飛躍的に向上します。 文字が密集している画像、形状が変形した画像、数字が多用される財務文書など、複雑なビジュアル情報を含むケースでも、精度の高いテキスト解析を行うことが可能となります。 learn.microsoft.com OpenAIから提供されるChatGPT Plusも画像分析機能を持っています。 今回は消防庁が公開している検査用資料を用いて、AzureのGPT-4 Turbo with VisionとChatGPT Plusの性能を比較しました。この比較を通じて、OCR拡張機能の組み合

前回のブログ記事では、Azure AI Searchのシノニム機能について機能概要などを紹介しました。 blog.jbs.co.jp 今回はREST APIを使用して、実際にシノニム機能を操作して、その検索挙動を確認します。 はじめに シノニムマップ割り当て済みのインデックスを作成する インデックスを用意する REST APIでシノニムマップを作成する フィールドに対してシノニムマップを割り当てる 検索を実行する 検索方法 検索結果と考察 クエリNo.1：America クエリNo.2：USA クエリNo.3：USA America クエリNo.4：USA + America クエリNo.5：United States クエリNo.6："United States" クエリNo.7：USA* クエリNo.8：USA | USA* クエリNo.9：UnitedStates 最後に はじめに

RAG（Retrieval-Augmented Generation; 取得拡張生成）を利用したチャットシステム等を構築するにあたり、検索サービスであるAzure AI Searchへの需要が高まっています。 ドキュメント検索方法には、テキスト検索、ベクター検索、ハイブリッド検索などの様々なパターンがありますが、今回はテキスト検索の精度向上に寄与する「シノニム」機能に焦点を当てます。 この記事では、Azure AI Searchのシノニムの基本的な機能や検索処理の流れについて解説します。 Azure AI Searchのシノニム 用語やコンポーネントの整理 ルールの種類 同義性規則（Equivalency rules） 明示的なマッピング（Explicit mapping） 検索処理の流れ (1) 検索クエリの解析 (2) アナライザーの適用 (3) シノニムマップのルール適用 (4) ド

AIのビジネスへの浸透に伴い、AIの開発知識がないまま開発に携わることになる人もいると思います。私もその1人でしたが、AI-102の取得により、AIを使用した開発の知識が身につき、自信がつきました。 本記事はAI-102への学習方法などをまとめました。受験したいと思っている方へ、この受験体験が参考になれば幸いです。 AI-102: Designing and Implementing a Microsoft Azure AI Solutionとは 受験動機 勉強開始前のスペック 学習方法 試験範囲の確認 Microsoft Cloud Skills Challenge 模擬問題＋Microsoft Learnなどで確認 Microsoftが提供している無料の評価試験 試験結果 総評 AI-102: Designing and Implementing a Microsoft Azure A

OpenAIではすでに提供されているテキスト読み上げサービスが、Azureでも使えるようになったので試してみました。 また、従来からあるAzure AI Speechとの比較も行いました。 概要 音声を生成する リソースのデプロイ モデルのデプロイ 音声の生成 日本語でのテスト Azure AI Speechとの比較 Azure AI Speechでの生成 生成する日本語テキスト Azure OpenAI ServiceでJBS企業理念の音声生成 Azure AI SpeechでJBS企業理念の音声生成 まとめ 概要 OpenAI のテキスト音声読み上げは、NeuralとNeuralHDの2 つのモデルがあります。 Neuralは速いですが品質が低いです。NeuralHDはNeuralに比べると遅いですが、品質が高いです。 OpenAI テキスト読み上げ音声とは - Azure AI se

先端技術部テクノロジーリサーチグループの渡邊です。 テクノロジーリサーチグループでは、今期から「インダストリアルメタバース」に関する技術調査を行っており、NVIDIAのオープンソースAIロボットJetBotを使って以下のような検証を計画しています。 AIを使った自律移動 デジタルツインによる可視化 デジタルツインによるシミュレーション 本記事では、まずはその第一歩としてJetBotの組み立てについて紹介します。 JetBotとは 購入する 組み立てる モーターボックスとキャスター PiOLEDとモータードライバーを配線する ホイールの組付け シャシーの完成 上部筐体 カメラ 完成 JetBotとは JetBotとは、NVIDIA Jetson Nanoというシングルボードコンピューターを搭載したオープンソースのロボットカーです。搭載されているセンサーはカメラのみで、撮影画像をAIモデルが処

AI技術の発展に伴い、その基礎を学びたいと考える人が増えています。私もその1人でしたが、AI-900の取得により、AIの基礎知識が身につき、自信がつきました。 本記事はAI-900への学習方法などをまとめました。受験したいと思っている方へ、この受験体験が参考になれば幸いです。 AI-900: Microsoft Azure AI Fundamentalsとは 受験動機 勉強開始前のスペック 学習方法 模擬問題＋Microsoft Learnなどで確認 Microsoftが提供している無料の評価試験 Microsoft Cloud Skills Challenge 試験結果 総評 AI-900: Microsoft Azure AI Fundamentalsとは MicrosoftのAI関連の資格の中では入門編の位置付けとなる資格です。 試験内容はAzure製品の使い方だけではなく、機械学習