Microsoftは2023年8月7日（米国時間）、企業のAI活用を支援するAzure AIインフラストラクチャおよびサービスの新展開を発表した。発表されたのは、Azure AIインフラストラクチャ（以下、Azure AIインフラ）に含まれる「ND H100 v5」仮想マシン（VM）シリーズの一般提供開始と、「Azure OpenAI Service」のグローバル展開だ。 Azure AIインフラは、開発者がAzureプラットフォーム上でAI（人工知能）ベースの次世代アプリケーションを構築するために必要なシステム、ツール、リソースを提供する。「ND H100 v5 VM」は、NVIDIAの最新GPUと低遅延ネットワーク技術を搭載している。Azure OpenAI Serviceは、Azureプラットフォーム上でOpenAIの最先端の大規模言語モデル（LLM）である「GPT-4」や「GPT-

こんにちは、igaです。 台風が接近していて、外出の予定と重ならないかドキドキしています。 今回は、Azure OpenAI Service（以下、Azure OpenAIと記載します）で7月から利用できるようになった「Function calling」を試してみます。 Function callingとは、実行可能な関数を予め定義しておき、自然言語から実行すべき関数と引数を特定してくれる機能です。 OpenAIのAPIで、6月にリリースされた機能ですが、それがAzure OpenAIでも利用できるようになりました。 この機能のポイントは、「関数を呼び出す」ことではなく、「呼び出す関数（とその引数）を特定してくれる」ことにあります。 （名前が「Function calling」なのに、ややこしいですね） Azure OpenAIの利用開始方法とAPIの呼び出し方については、前回の記事を参考

背景 以前、ChatGPTを使って以下のようなものを作りました。 「 決算短信などのPDFファイルから分析に必要なデータを抽出し、Excelとして出力してくれる 」 機能的には気に入っていますが、実行がとても面倒くさいです 「 Pythonスクリプトを実行した後に、ChatGPTに入力して、出力をコピペして、、、 」といった感じですね。 そこで、自動化・パイプライン化したいなあと思い始めたのが今回の背景です。 自動化しようと思ったときに、Prompt Flowを使えるのではないかということで実装してみました。(Pythonだけでも実装可能だと思います。) Prompt Flowを使えば、Variantsを使って並列で色々なプロンプトを試せますし評価も可能です。 やること 今回やることの全体像は以下の通りです。 入力 ユーザがPrompt Flow対してファイル名を入力 Prompt Flo

はじめに この記事は、現在（2023年8月4日時点）パブリックプレビュー中のCognitive Searchのベクトル検索機能について、ベクトルDBの構築手順を解説する記事です。公式ドキュメントにはクイックスタート記事も公開されており、こちらのブログで日本語で丁寧に解説してくれています。 公式ドキュメントのクイックスタートを読んでいると、下記の課題に遭遇します。 PDFなどのドキュメントはどのように扱えばいいか？ チャンク分割やベクトル生成は具体的にどのように行えばよいか？ 言語アナライザーを日本にするにはどこを変えればよいか？ インデックスを自動更新するにはどうすれば良いか？ このような課題に対して、Azure公式のGitHubリポジトリにあるcognitive-search-vector-prにあるインデックス作成ツール(azure-search-vector-ingestion-py

日本マイクロソフトは、大規模言語モデル「GPT-3.5」などのAPIをクラウドサービス「Microsoft Azure」上で使える「Azure OpenAI Service」を、政府のクラウドサービス認定制度「ISMAP」に登録する方針だ。すでに監査は完了しており、申請書類も提出済み。早ければ8月末にもISMAPのリストに入る見込みという。 自民党が7月27日に開催した会合で、同社が使った資料から明らかになった。会合はLLM（大規模言語モデル）開発のための計算資源確保がテーマで、AWS日本法人も出席したという。資料は同じく会合に出席した塩崎彰久衆議院議員が自身のnoteで公開した。 ISMAPは、情報処理推進機構（IPA）などが民間のクラウドサービスの情報セキュリティ対策などを評価し、“政府認定クラウド”として登録する制度。各省庁は原則としてISMAPに登録された中からクラウドサービスを調

米Microsoftが7月25日（現地時間）に発表した2023年第4四半期（2023年4～6月期）の決算は、売上高は前年同期比8％増の561億8900万ドル、純利益は20％増の200億8100万ドル（1株当たり2ドル69セント）だった。 売上高、純利益ともにアナリスト予測（売上高は554億7000万ドル、1株当たりの純利益は2ドル55セント）を上回った。 部門別では、Azureやサーバー製品を担うIntelligent Cloud部門全体の売上高は15％増の239億9000万ドルだったAzureの売上高は26％増と好調だったが、クラウド部門全体の伸びは鈍化している。 サティア・ナデラCEOは業績発表後の電話会見で、「クラウド部門の年間売上高は1100億ドルを超え、為替変動の影響を除けば27％増加した。Azureの売上高が初めてクラウド全体の50％以上を占めた」と語った。ナデラ氏によると、「

皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 この記事は「Prompt Flowを使ってRAGの回答を自動評価する」記事の続きの記事になります。 acro-engineer.hatenablog.com 前回記事では、Azure Machine Learning Prompt Flowを使って手動で回答を評価することはできたので、今回はファイルから複数回答の自動評価を検証してみます。 目次 おさらい 一括テストを使ってファイルのデータを対象に実行する データファイルを用意する 一括テストを設定・実行する 一括テストの評価結果を確認する まとめ おさらい まず、今回検証したい内容をおさらいします。 RAGのシス

皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 Microsoft Buildを経て、AzureにもGPTを利用したサービスが数多く発表されており、LLMをサービスとして利用できる使い方増えていてワクワクしますね。 今回と次回の記事を通して、その中のサービスの一つであるAzure Machine Learning Prompt Flowというサービスを使ってRAG（Retrieval Augmented Generation）の回答を自動評価するシステムを試してみます。 この記事では、まずはPrompt Flowを使って手動で回答を評価してみるところまでを検証します。 ※RAGとは事前に知識を検索エンジンなどに

ユーザーの立場ではAIネイティブな働き方が身近に迫っており、データサイエンティストやMLエンジニアにとってはGPTを活用した開発を意識する必要が出てくる中、マイクロソフトの取り組みやML開発のパラダイムシフトをご紹介する「ChatGPTによって描かれる未来とAI開発の変遷」。ここで日本マイクロソフト株式会社の蒲生氏が登壇。まずは、テキスト生成過程におけるGPTの動きと、マイクロソフトの製品におけるGPT機能の組み込みの流れについて話します。 蒲生氏の自己紹介 司会者：本日のセミナーは「ChatGPTによって描かれる未来とAI開発の変遷」として、日本マイクロソフトの蒲生さまに講演いただきたいと思います。蒲生さま、よろしくお願いいたします。 蒲生弘郷氏（以下、蒲生）：日本マイクロソフトの蒲生と申します。よろしくお願いします。本日は非常にたくさんの方に集まっていただいて、なんでこんなに集まったの

Azure OpenAIにも本家OpenAIで人気だったFunction Callingの機能が使えるようになりました。 こちらのブログでも紹介されています。 Function calling is now available in Azure OpenAI Service API Referenceは日本語の更新はまだされておらず、英語で表示すると、Chat completionsの項目に2023-07-01　preview Swagger specの記載もあります。（2023年7月21日 日本時間15:00現在） Azure OpenAI Service REST API reference 2023-07-01-preview Swagger spec 追記） このFunction　callingは、0613バージョンのgpt-35-turboとgpt-4で利用可能です。 0301バ

Over the last couple of years, we’ve learned just how powerful language models can be.  With the advent of gpt-35-turbo and gpt-4, these models can accomplish more than ever before and we're seeing customers be successful with an array of new scenarios. While these models are incredibly useful on their own, you can accomplish even more by integrating them with other systems and tools. Function cal

私の今まで経験してきた全てのLLMノウハウを詰め込んだ、LLMシステムの開発ガイドです。 初めてLLMシステムを開発したいと思った時でも、精度改善や運用に行き詰った時でも、何かしら役に立つと思います。 現在200ページ超。 今後も随時更新していきます。 2023/7/28 体裁修正、余計…

マイクロソフトは日本時間7月19日未明から開催中のパートナー向け年次イベント「Microsoft Inspire 2023」において、Azure OpenAIをアジア地域のリージョンで提供することを発表しました。 サティア・ナデラCEOは基調講演で、Microsoft Azure上でOpenAI社の技術を用いてAIサービスを提供する「Azure OpenAI Service」の提供リージョンを拡大すると発表。 北米および西欧州での提供を拡大するだけでなく、アジア地域にも初めてAzure OpenAI Serviceの提供リージョンを設置することを明らかにしました。 このアジアのリージョンが具体的にどこなのかは記事執筆時点で発表されていませんが、すでに先週から一部のユーザーのあいだでは東日本リージョンでAzure OpenAI Serviceの提供が開始されていることが話題になっていました。

オープンソースで商用利用も可能な大規模言語モデル Llama 2はこのマイクロソフトの発表とほぼ同時にMetaが発表した最新の大規模言語モデルです。 オープンソースとして公開され商用利用も可能で、AI分野で高い実績を残してきたMetaが満を持して公開するモデルとして高い能力を備えていることが期待されています。 Llama 2はパラメータ数が7B、13B、70Bの3つのモデルに分かれており、Microsoft Azureではこの3つのモデルを現在パブリックプレビュー中のAzure AIモデルカタログから選択し、ファインチューニングし、デプロイが可能。 また、Windowsマシン上でもLlama 2が実行できるように最適化される予定です。 これらにより開発者は独自の生成的AIをMicrosoft AzureやWindows上で開発し、アプリケーションに組み込めるようになります。 マイクロソフト

【Azure OpenAI×マルチクラウドTech Night】 リンクアンドモチベーション登壇資料（2023/07/13） 『AWSユーザがAI活用のためにAzureと共存させるために トライしたこととトライすること』 #HelloAOAI #リンクアンドモチベーション #リンモチ ============================================= 【イベント情報】 ■イベントページ https://msdevjp.connpass.com/event/287530/ 【株式会社リンクアンドモチベーション】 ■お問い合わせ engineer_pr@lmi.ne.jp ■Entrancebook https://note.com/lmi/n/n179505e048f4 ■テックブログ https://link-and-motivation.hatenablog.co

まえがき 今回は入門ということで、以下の2つのことをまとめています。 Prompt flowの作成～実行 簡易的なタスクをPrompt flowで実装 Prompt flowの便利機能には今回触れていません。次回以降まとめていきます。 以下のような便利機能を試していく予定です。 マネージドオンラインエンドポイントの作成 Variant Bulktest ベクトルDBやSerp APIとの連携 リソース構築 事前作成が必要なもの Azure OpenAI gpt-35-turbo Machine Learning Studioのワークスペース Azure OpenAIを作成し、上記モデルをデプロイします。エンドポイントとキーをコピーしておきます。 また、下記URLからワークスペースを作成しておきます。 Prompt flowとAzure OpenAIの接続 Connenctionsタブへ移動

KDDIアジャイル開発センターのはしもと（仮名）です、突然の出来事でした。 お昼ごはんを食べながらSNSをパトロールしていたところ、 へ？ 待ってました Azure OpenAI Service が国内リージョンに上陸しました！！！！！！！ 何が嬉しいか 思いつく範囲で、次のような点が挙げられます。 レイテンシーの改善 データセンターが利用者に近い地理的位置にあると、データの送受信にかかる時間が短縮されます。 これにより、Azure OpenAI Service を利用するアプリケーションやサービスのパフォーマンスが向上することが期待できます。 データのプライバシー管理とコンプライアンス準拠 データが日本国内で処理および保存されるため、日本国の法規制や、各企業のセキュリティポリシーに則ったシステム構築の実現可能性が高まります。 企業が自社内で持っているデータを活用するには、データの所在地は

この記事の主題ではないので簡単に説明しますが、PaaSへのアクセスを閉域化するのがPrivate Endpoint、PaaSからのアクセスを閉域化するのがVNet統合です。 非対応だった以前までの内容 では、登場人物全てが閉域化に対応しているのに、なぜ「Add your data」は閉域化できないのでしょうか。それはAzure OpenAIからCognitive Searchへの通信が執筆時点ではパブリックのみになっているからです。「Add your data」の仕組み図を閉域ネットワーク的に書き換えると以下の図のようになります。 ネットワーク閉域化をしている場合、インターネットからのアクセスを遮断するのでAzure OpenAIからのインターネット経由のアクセスができなくなります。そのため、執筆時点では「Add your data」は閉域化できないということになります。Azure Ope

From Mercedes-Benz enhancing their in-car experiences to AT&T using these models to empower their employees we’re seeing customers innovate with Azure OpenAI Service like never before. The gpt-35-turbo and gpt-4 models have been a catalyst for widespread adoption of large language models (LLMs), and we’ve seen tremendous ingenuity from our customers in virtually every industry. We’re excited to an