JavaScript で OpenAI の API を扱おうとした時に、公式から提供されているパッケージを利用できます。 OpenAI提供の API を利用する際は以下の 1つ目の「openai」が利用できたり、Azure版の API（Azure OpenAI Service の API）を使う場合は以下 2つ目の「@azure/openai」を利用できたりします。 ※ 後述しますが、「openai」のほうを Azure OpenAI Service用に使うこともできます ●openai - npm https://www.npmjs.com/package/openai ●@azure/openai - npm https://www.npmjs.com/package/@azure/openai これらの違いについて、少し見てみた結果をメモしておこうと思い、この記事を書きました。 とり

マイクロソフトは、GPT-35-TurboもしくはGPT-4に任意のデータソースを指定することでそのデータの内容を読み込み、質問に対して内容を基に回答できるようになる新機能「Azure OpenAI On Your Data」が正式サービスとなったことを発表しました。 例えば、社内規約や社内マニュアルなどを読み込ませると、「PCの修理を申し込むための社内手続きは？」といった、汎用の知識だけしか持たない従来のGPTでは答えられない質問にも回答できるようになります。 任意のドキュメントを読み込ませるための支援ツール「Azure AI Studio」には、Azure OpenAI On Your DataでカスタマイズしたAIを、チャットボットとして公開する機能も備わっています。 カスタマイズしたチャットAIのサービスを、社内や社外に簡単に公開できるようになります。 Azure OpenAI S

◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【4/18開催】VSCode Dev Containersで楽々開発環境構築祭り〜Python/Reactなどなど〜 Visual Studio Codeの拡張機能であるDev Containersを使ってReactとかPythonとかSpring Bootとかの開発環境をラクチンで構築する方法を紹介するイベントです。 https://tech-lab.connpass.com/event/311864/ こんにちは、サイオステクノロジー武井です。今回は、「RAG構築のためのAzure OpenAI Serviceリファレンスア

米Microsoftは2月20日（現地時間）、大規模言語モデル「GPT-4」などのAPIを同社のクラウド上で使える「Azure OpenAI Service」の外部データ連携機能「On Your Data」を正式リリースした。これまではパブリックプレビュー版として提供していた。 On Your Dataはいわゆる「RAG」（大規模言語モデルに外部データベースの情報を参照させ、機密情報を基にした回答などを可能にする仕組み）の構築に向けた機能。ローカルやAzure上のストレージに保管するテキストファイルやPDF、PowerPointファイルを、GUIの操作でGPT-4などに参照させられる。 参照できるのはクラウド型検索サービス「Azure Cognitive Search」のインデックス（検索対象）にインポートしたデータや、Azureのストレージ「Blob Storage」に格納したデータなど

We're thrilled to announce the much-anticipated Azure OpenAI Service On Your Data is now generally available! The groundbreaking feature empowers you to leverage the power of OpenAI models, such as GPT-4, and incorporates the advanced capabilities of RAG (Retrieval Augmented Generation) model, directly on your data with enterprise-grade security on Azure. This cutting-edge capability transforms th

デジタル庁や総務省などで構成されるISMAP運営委員会は2月19日、政府のクラウドサービス認定制度「政府情報システムのためのセキュリティ評価制度」（ISMAP）のリストを更新した。米Microsoftのクラウド「Microsoft Azure」などについて、ISMAPの対象となるサービスを拡大。新たに「Azure OpenAI Service」も対象に加えた。今後、同サービスは政府調達の対象になる。 Azure OpenAI Serviceは、大規模言語モデル「GPT-4」などのAPIをMicrosoftのクラウドで使えるサービス。ベネッセホールディングスやKDDIなどさまざまな企業が、生成AIを活用した社内チャットの実証やサービス提供といった用途に活用している。日本マイクロソフトは2023年からISMAP登録の方針を示していた。 ISMAPは、情報処理推進機構（IPA）などが民間のクラウ

はじめにこんにちは、SAIG/MLOpsチームでアルバイトをしている板野です。 AzureのPrompt Flowをローカル環境で動かし、作成したフローをコードで管理する方法をご紹介します。 Prompt Flowとは、Azure Machine Learning上の機能で、Azure OpenAIで提供されているLLMを利用したアプリケーション開発を円滑にするためのツールです。 実際にLLMアプリケーションを開発する場合、「プロンプトを入力して終わり」ではなく、ベクトル検索など複数の要素を組み合わせることもあります。このため、Prompt Flowでは処理のフローをDAG(有向非巡回グラフ)で可視化することで、開発効率が大きく向上します。 Prompt FlowはPythonライブラリ（2023/09/27時点ではMITライセンス）として提供されており、Azureのコンソール画面だけでな

概要 今回はAzure Communication ServiceとAzure OpenAI Serviceを使って、コールセンターを作ってみたいと思います。 全体アーキテクチャは以下のようになります。 全体の流れは以下の通りです。 ユーザーが Azure Communication Service に登録された電話番号に架電する。 Azure Communication Servicce の Incoming Call をトリガーとしてサーバーサイドアプリケーションの API に Webhook を実行する。 Webhook 要求にサーバーサイドアプリケーションが応答する。 ユーザー発話内容に基づいて Azure Cognitive Service が Speech-to-Text、Azure OpenAI Service からの応答内容に基づいて Text-to-Speech を実行す

2024/1/31に開催された【StudyCo×KAGコラボ】Azure・AWSでLLMアプリ開発レベルアップ！事例＆ハンズオンで発表した資料です。 AzureでRAGによる社内文章検索をやってみてさまざまな試行錯誤を通して得たナレッジを共有します！

エンタープライズ チャット アプリケーションには、会話型インタラクションを通じて従業員に権限を与える機能があります。 これは、OpenAI の GPT モデルや Meta の LLaMA モデルなどの大規模言語モデルが継続的に進歩しているため、特に当てはまります。 これらのチャット アプリケーションを構成しているのは、チャット用のユーザー インターフェイス、データ リポジトリ (ユーザーのクエリに関連するドメイン固有の情報を含む)、ドメイン固有のデータについて推論して関連性の高い応答を生成する大規模言語モデル (LLM)、そしてこれらのコンポーネント間の相互作用を監視するオーケストレーターです。 この記事では、Azure OpenAI の大規模言語モデルを使用するエンタープライズ チャット アプリケーションの構築およびデプロイするためのベースライン アーキテクチャについて説明します。 この

Introduction GenAI applications are those that use large language models (LLMs) to generate natural language texts or perform natural language understanding tasks. LLMs are powerful tools that can enable various scenarios such as content creation, summarization, translation, question answering, and conversational agents. However, LLMs also pose significant security challenges that need to be addre

2023年10月からの景品表示法の改正に伴う注記：この記事は技術評論社様より献本をいただき、発売前の書籍レビューをするものです。 来週1/24にMicrosoft社のAzureクラウドで生成AIアプリケーションを開発する人向けの入門書籍が発売されます。 幸運なことに、著者の一人である吉田真吾さんのご厚意で発売前献本の機会に預かりましたので、先行レビューということでみなさんに紹介させていただきます！ Azure OpenAI ServiceではじめるChatGPT/LLMシステム構築入門 永田 祥平 (著), 伊藤 駿汰 (著), 宮田 大士 (著), 立脇 裕太 (著), 花ケ﨑 伸祐 (著), 蒲生 弘郷 (著), 吉田 真吾 (著) - 技術評論者より2024/1/24発売予定 通称「ドーナツ本」です。おそらくOpenAIのロゴが某ドーナツ屋さんのフレンチ●ルーラーに酷似していることか

2024年1月24日紙版発売 2024年1月24日電子版発売 永田祥平，伊藤駿汰，宮田大士，立脇裕太，花ケ﨑伸祐，蒲生弘郷，吉田真吾　著 B5変形判／304ページ 定価3,520円（本体3,200円＋税10%） ISBN 978-4-297-13929-2 Gihyo Direct Amazon 楽天ブックス ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle ブックライブ 楽天kobo honto 本書のサポートページサンプルファイルのダウンロードや正誤表など この本の概要 Microsoft AzureはChatGPTをはじめとするOpenAIモデルを利用できる，現在唯一のパブリッククラウドサービスです。本書はLLM（大規模言語モデル）に興味があるITエンジニアを対象に，AzureからOpenAIモデルにアクセスできる「Azure O

Azure OpenAI Insights: Monitoring AI with Confidence Welcome to the forefront of AI innovation! In the ever-evolving world of Artificial Intelligence, organizations and entities across various sectors are on a quest to leverage advanced technologies efficiently. Azure OpenAI opens a realm of possibilities, offering both challenges and excitement, particularly for those at the early stages of AI ad

Types of views this workbook provides: Overview Azure OpenAI Resources by SubscriptionId Resource Group Location Kind Public Network Access Private Network Access All Azure OpenAI Resources The information displayed uses KQL queries to query the Azure Resource Graph. Monitor Overview Requests Processed Inference Tokens Processed Prompt Tokens Generated Completions Tokens Processed FineTuned Traini

OpenAIのリリースによりLLMの利用率が爆発的に増えてきました。 当初はChatGPTとの会話形式だけだった利用シーンも独自のナレッジから答えさせるRAGアーキテクチャなど、LLMのアプリケーションへの組み込みがされはじめています。 本資料では主にAzure OpenAIのLLMをアプリケーションへ組み込む際により堅牢かつ安全にアプリケーション実装ができるポイントについて紹介します。 本資料は以下のイベントで発表した内容です。 第1回 Azure Travelers 勉強会 札幌の旅 https://jat.connpass.com/event/303868

Azure OpenAI利用について、よく聞かれる質問についてまとめてみました。 この記事はGitHubで管理されています。これも追加したらいいんじゃない？という内容はプルリクエストまたは本記事へのコメントでお気軽にお寄せください！ 実際にOpenAIのモデルを使わなくても基本料金はかかりますか？ いいえ。基本的には使った分（トークン≒入出力をさせた文量）だけの従量課金制です、使わなければ課金されないし、逆に使った分だけ青天井で課金されます。 「基本的には」というのはファインチューニング（微調整）をしたモデルを使う場合にはホスティング費用が基本料金としてかかります。 プロンプトのログを取りたいのですが、標準機能でできますか？ Azure OpenAIだけではプロンプトのログを取る機能はありません。Azure標準機能の「診断設定」で取得できるログにも出力されません。 そのため、Azure O

PublickeyのIT業界予想2024。ハイパースケーラーの優位性高まる、AzureはAWSに追いつくか？ ITエンジニアの給与レベル上昇 新年明けましておめでとうございます。今年、Pubickeyは15周年を迎えます。長きにわたってこの小さなメディアを続けられているのも読者の皆様のおかげです。今年もPublickeyをどうぞよろしくおねがいします。 さて、2024年最初の記事では今年のIT業界、特にPublickeyが主な守備範囲としているエンタープライズ系のIT業界について、期待を込めた予想をしてみたいと思います。 続くモノやサービスの値上げ、生成AIの爆発的普及など まずは予想の前提となる、世の中全般に関する現状認識について書いておこうと思います。 1年前を振り返ってみると、ロシアによるウクライナ侵攻や長引く新型コロナウイルスの感染拡大の影響などの複合的な要因で、石油や天然ガスを始

◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【3/22開催】テックブログを書こう！アウトプットのススメ 1年で100本ブログを出した新米エンジニアがPV数が伸びなくてもTech Blogを書き続ける理由とは？ https://tech-lab.connpass.com/event/312805/ 【4/18開催】VSCode Dev Containersで楽々開発環境構築祭り〜Python/Reactなどなど〜 Visual Studio Codeの拡張機能であるDev Containersを使ってReactとかPythonとかSpring Bootとかの開発環境をラクチ