Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事は何？ Azure OpenAI Service で GPT-4o audio のモデルが利用可能になったので、サンプルアプリの設定を行って音声でやり取りを行ってみた際の手順のメモです。 GPT-4o audio とは？ GPT-4o audio のモデル (現状使えるのは GPT-4o-realtime-preview）は、GPT-4o モデル ファミリの一部であり、低遅延の「音声入力、音声出力」会話インタラクションをサポートします。 つまり、今まで音声をインターフェイスにして言語モデルと対話を行う際には、Speech to

Starting today, we’re opening a preview to give developers an opportunity to test OpenAI o1-preview and o1-mini, hosted on Azure, in both GitHub Copilot and Models. Sign up to get access to use OpenAI o1 in GitHub Copilot Chat with Visual Studio Code and in the playground with GitHub Models. OpenAI o1 is a new series of AI models equipped with advanced reasoning capabilities, trained to think thro

本記事では、今年8月にパブリックベータ版として GitHub に搭載された新機能 GitHub Models について、概要や利用法を簡単にご説明します。さらに、実際に GitHub Models を活用して、多数の LLM の日本語性能を横断的に測定していく例を紹介していきます。 目次 目次 はじめに 三行で GitHub Models を説明すると... GitHub Models の使い方 Waitlist への登録 モデル一覧 ブラウザ上で試す API経由で試す GitHub Models を利用する上での注意点 API レート制限の制約が強い Azure AI Content Safety が全ての LLM に適用されている GitHub Models を使って LLM の日本語性能を横断的に測定する 実験 1. GPT-4o による自動評価 2. 出力が日本語になっているかどう

Products Popular View all products (200+) Azure Virtual Machines Azure Virtual Desktop Azure SQL Microsoft Copilot in Azure PREVIEW Azure AI Services Azure AI Studio Azure Cosmos DB Azure Kubernetes Service (AKS) Azure Arc​ Azure Migrate AI + machine learning Azure Machine Learning Azure AI Services Microsoft Copilot in Azure PREVIEW Azure OpenAI Service Azure AI Studio Azure AI Vision Azure AI Se

Azure OpenAI 東日本リージョン(Japan East)でGPTの標準デプロイのモデルが利用できなくなる？(2024年8月) この記事について 顧客データ活用を支援しているインキュデータでは、企業が保有するデータと生成AIの利用支援を行っています。 Microsoft社の公式ドキュメントの情報を元に記載していますが、独自の解釈が含まれます。 2024年6月時点との変更点まとめ 東日本リージョンの標準デプロイが利用できるモデルの終了・アップグレード日が変わりました。 GPT-4(vision-preview)は2024年11月15日以降に更新されるとされました。 GPT-3.5-turbo（0613）の終了日が2024年8月1日から2024年10月1日になりました。 GPT-3.5-turbo-16k（0613）の終了日が2024年8月1日から2024年10月1日になりました。 2

[補足] 日本語のトークン効率 GPT-4o 以降のモデルは o200k_base という新しいエンコーディングが使われていて、英語以外のローカル言語のトークン効率が向上しています。日本語において GPT-4 Turbo 以前の cl100k_base が使われているモデルと比較すると、OpenAI による GPT-4o のリリース記事の例では約 30%、個人的な検証の結果では約 27% トークン効率が向上していました。 参考 GPT-4 and GPT-4 Turbo models Hello GPT-4o OpenAI 言語モデルで日本語を扱う際のトークン数推定指標 OpenAI 言語モデルごとのエンコーディング一覧 リージョン 執筆時点 (API 公開時点) で GPT-4o mini は Global standard デプロイと Standard デプロイの両方で East US

こんにちは、サイオステクノロジーの佐藤 陽です。 今回もRAGの構築に関する記事を書いていきます！ これまでも何本かRAGに関して書いてきましたが、 今回はそれらの集大成として、PDFを外部情報とするRAGを実装し、Ragasで評価するところまで、ソースコードと合わせて一挙ご紹介していこうと思います。 これを読めば、今日からRAGが構築ができるような記事になってます！ ぜひ最後までご覧ください！ はじめに 今回一番伝えたいことは、「評価を回しながらRAGの開発を進めてください！！」 という事です。 RAGというと、どうしても回答を出す部分に注目が行きがちですが、評価の方も非常に大切です。 生成AIを利用していることもあり、RAGの回答内容は不安定であるため、人間が評価するのが難しいことがよく言われています。 更にRAGを構築する要素の設計は多岐にわたります。 プロンプト変更 チャンキング戦

G-gen の堂原と又吉です。当記事では、Amazon Web Services（AWS）、Microsoft Azure、Google Cloud（旧称 GCP）が提供するフルマネージドな RAG サービスの比較を行います。 はじめに 当記事について RAG とは 3社比較 前提条件 機能比較 料金シミュレーション 想定シナリオ AWS Azure Google Cloud 総評 AWS Azure Google Cloud 詳細の解説 Knowledge bases for Amazon Bedrock（AWS）の詳細 構成図 プロダクト一覧 Knowledge bases for Amazon Bedrock Amazon S3 Amazon OpenSearch Service できること 検索 対応データソース 料金 概要 基盤モデル利用料金 ベクトルデータベース料金 Azure

Azure AI Searchではベクトル検索の機能が利用できますが、プログラム経由で検索を行うためにテキストをそのまま渡してもベクトル検索が行えませんでした。 本記事では、プログラム経由でベクトル検索を行う手順を紹介します。 前提条件 ベクトル検索実施手順 作業概要 コンソールアプリプロジェクトの作成 必要なパッケージのインストール 検索文字列のEmbbeding ベクトル検索 おわりに 前提条件 以下の環境で実施いたしました。 Azure OpenAIリソースを作成し、「text-embedding-ada-002」をデプロイ Azure AI Searchリソースを作成し、ベクトル検索を有効化したインデックスの作成(ベクター化は上記モデルで実施) C# .Net 8 ベクトル検索実施手順 作業概要 作業は以下の手順で実施します。 コンソールアプリプロジェクトの作成 必要なパッケージの

I'm concerned by the number of times I've heard, "oh, we can do RAG with retriever X, here's the vector search query." Yes, your retriever for a RAG flow should definitely support vector search, since that will let you find documents with similar semantics to a user's query, but vector search is not enough. Your retriever should support a full hybrid search, meaning that it can perform both a vect

こんにちは、セキュリティチームのぐっちーです。GPT-4oやDALL·E（海外サーバー）に個人情報を送りたくないので、Azure AI language で最低限のガードレールを敷く方法を考えてみました。 本ブログで取り扱うトピックは、各企業のポリシーや法令遵守の観点から、個別の事情に応じた対応が求められます。あくまで参考程度でお願いします。 本ブログは2024年5月時点の情報を元に作成しています。 日本リージョンにGPT-4oやDALL·Eが来ないのは、時間が解決するとは考えています。ただ、直近一年の傾向から、日本リージョンに最新モデルが遅れてやってくる状況がしばらく続くことは予想されます。 日本リージョンにGPT-4oやDALL·Eが来ないので使えない問題 Azure OpenAI は日本リージョンがあり、海外に情報を置くことができない大企業でも採用が進んでいます。一方で、DALL·E

Products Popular View all products (200+) Azure Virtual Machines Azure Virtual Desktop Azure SQL Microsoft Copilot in Azure PREVIEW Azure AI Services Azure AI Studio Azure Cosmos DB Azure Kubernetes Service (AKS) Azure Arc​ Azure Migrate AI + machine learning Azure Machine Learning Azure AI Services Microsoft Copilot in Azure PREVIEW Azure OpenAI Service Azure AI Studio Azure AI Vision Azure AI Se

こんにちは。XI 本部AIトランスフォーメーションセンター所属の山田です。 先日、部内の勉強会でAzure AI Searchについて紹介したので、テックブログでもその内容を紹介したいと思います。 Azure AI Searchとは？ Azure AI Searchに保存されるデータに関する用語と概念 Azure AI Searchのスケーラビリティに関する用語と概念 Azure AI Searchでサポートされる検索の仕組み 全文検索について Azure AI Searchのアナライザー ベクトル検索について ベクトルの近傍検索アルゴリズム ハイブリッド検索 検索インデックスのスキーマ設計 検索インデックスにドキュメントを追加する方法 Pushモデル Pushモデルを利用する場合のアーキテクチャの例 Pullモデル Pullモデルを利用する場合のアーキテクチャの例 インデクサーの計算リソ

みなさん、こんにちは。サイオステクノロジー武井です。今回は、Azure OpenAI ServiceによるRAG実装ガイドを公開しましたので、ご紹介させてください。 ※ このブログでのご紹介ととも以下のイベントでもガイドに関する詳細なご説明や、ガイドにはないデモなどを実施しますので、ぜひご参加ください。 Azure OpenAI ServiceによるRAG実装ガイドを公開しました https://tech-lab.connpass.com/event/315703 Azure OpenAI ServiceによるRAG実装ガイドとは？ 以下のURLで公開しております。執筆しているうちに100ページ超の壮大なものとなってしまいました。 https://mk.sios.jp/aoai-rag-dev-guide-form 本ガイドの目的は、「シンプル」「強力」「すぐ動く」をモットーにしたRAGア

2024/3/6 Forkwell Library #45で登壇した際の資料です。 名前の通りGPT開発の「速度」「精度」「評価」のそれぞれについて解説してます。 近く大全↓とも統合するかと思いますが取り急ぎ。 https://speakerdeck.com/hirosatogamo/chat…

こんにちは、サイオステクノロジー武井です。今回は、「RAG構築のためのAzure OpenAI Serviceリファレンスアーキテクチャ詳解」と題しまして、マイクロソフトが提供するRAG導入のためのリファレンスアーキテクチャについて解説します。 ※ 本記事の内容がベースとなっているオンラインセミナーのアーカイブが以下のYouTubeで配信されています。ぜひ見てね!! Azure OpenAI Service リファレンスアーキテクチャとは？ マイクロソフトは、Azureでのシステム構築に役立つ様々な設計パターン（リファレンスアーキテクチャ）を提供しています。これらのパターンを参考にすれば、問題なく簡単にシステムを構築することが可能です。ゼロから設計を始める必要はありません。 https://learn.microsoft.com/ja-jp/azure/architecture/brows

米Microsoftは2月20日（現地時間）、大規模言語モデル「GPT-4」などのAPIを同社のクラウド上で使える「Azure OpenAI Service」の外部データ連携機能「On Your Data」を正式リリースした。これまではパブリックプレビュー版として提供していた。 On Your Dataはいわゆる「RAG」（大規模言語モデルに外部データベースの情報を参照させ、機密情報を基にした回答などを可能にする仕組み）の構築に向けた機能。ローカルやAzure上のストレージに保管するテキストファイルやPDF、PowerPointファイルを、GUIの操作でGPT-4などに参照させられる。 参照できるのはクラウド型検索サービス「Azure Cognitive Search」のインデックス（検索対象）にインポートしたデータや、Azureのストレージ「Blob Storage」に格納したデータなど

はじめにこんにちは、SAIG/MLOpsチームでアルバイトをしている板野です。 AzureのPrompt Flowをローカル環境で動かし、作成したフローをコードで管理する方法をご紹介します。 Prompt Flowとは、Azure Machine Learning上の機能で、Azure OpenAIで提供されているLLMを利用したアプリケーション開発を円滑にするためのツールです。 実際にLLMアプリケーションを開発する場合、「プロンプトを入力して終わり」ではなく、ベクトル検索など複数の要素を組み合わせることもあります。このため、Prompt Flowでは処理のフローをDAG(有向非巡回グラフ)で可視化することで、開発効率が大きく向上します。 Prompt FlowはPythonライブラリ（2023/09/27時点ではMITライセンス）として提供されており、Azureのコンソール画面だけでな

2024/1/31に開催された【StudyCo×KAGコラボ】Azure・AWSでLLMアプリ開発レベルアップ！事例＆ハンズオンで発表した資料です。 AzureでRAGによる社内文章検索をやってみてさまざまな試行錯誤を通して得たナレッジを共有します！

エンタープライズ チャット アプリケーションは、会話による対話を通じて従業員を支援することができます。 これは、OpenAI の GPT モデルや Meta の LLaMA モデルなどの言語モデルが継続的に進歩しているため、特に当てはまります。 これらのチャット アプリケーションを構成しているのは、チャット ユーザー インターフェイス、ユーザーのクエリに関連するドメイン固有の情報を含むデータ リポジトリ、ドメイン固有のデータについて推論して関連性の高い応答を生成する言語モデル、そしてこれらのコンポーネント間の相互作用を監視するオーケストレーターです。 この記事では、Azure OpenAI Service の言語モデルを使用するエンタープライズ チャット アプリケーションを構築およびデプロイするためのベースライン アーキテクチャについて説明します。 このアーキテクチャでは、Azure Ma