自社のデータを基に回答をさせるAzure OpenAI Serviceを利用したChatシステムを作る際の最適な方法について、今回はRAG（Retrieval Augmented Generation）の仕組みを中心に解説します。 ※ 本記事は、以前にハイブリットクラウド研究会で発表した資料をベースに、ブログ用に再編集したものとなります アプローチの比較 データを参照して回答を生成する モデルに学習させる 比較表 RAGのアーキテクチャ RAGの流れ RAGのプロンプト まとめ アプローチの比較 自社のデータを基に回答をさせるAzure OpenAI Serviceベースのチャットシステムを作る際には、大きく分けて以下の2つのアプローチがあると考えています。 データを参照して回答を生成する モデルに学習させる データを参照して回答を生成する RAG（Retrieval Augmented

本記事は、以下の記事の続きとなります。 blog.jbs.co.jp 前回の記事ではAzure PipelinesでARM TemplateのCI/CDパイプラインを実装するための事前準備をしました。 本記事ではAzure Pipelinesの実装を進めていきます。 Azure Pipelinesの設定 ソースコードの格納先選択 Pipelinesの設定 初回の動作確認 動作確認 まとめ Azure Pipelinesの設定 プロジェクト画面の左メニューから「Pipelines」を選択し、「Create Pipeline」をクリックします。 ソースコードの格納先選択 ソースコードの格納先を選択します。 前回の記事でAzure Reposにソースコードを格納したため、「Azure Repos Git」を選択します。 利用するAzure Reposのリポジトリを選択します。 Pipelines

VMware NSX Advanced Load Balancer（以降、NSX ALBと表記）の Azure 上への展開手順ご紹介、本記事で第5回目になります。 前回記事では データプレーンである Service Engine（以降、SEと表記） の設定を定義する Service Engine Group（以降、SE Groupと表記） について掲載しました。 VMware NSX Advanced Load Balancer on Azure その4 ～Service Engine Group 設定～ - JBS Tech Blog その他の記事は以下リンク先をご参照ください。 VMware NSX Advanced Load Balancer on Azure その1 ～コントローラの展開～ - JBS Tech Blog VMware NSX Advanced Load Balan

こんにちは。 今回、Azure上の仮想マシン（以下、「VM」と記載）にHyper-Vの役割を追加し、その上にVMを作成しようとしました。 しかし、Azure上で立てたVMをHyper-Vホストサーバーとして稼働させるためにはいくつかの制約があることを見落としてしまい、実際に作成してから検証に至るまでに悪戦苦闘を強いられました。 これからこの手法で検証環境を構築したりする方は、本記事でご紹介する制約を念頭に置きながら構築を進めてください。 備忘として残すこともかねて、手順を共有できたらなと思い、記事にしました。 Azure VM上にHyper-Vホストサーバーを構築する際の制約 OSはWindows Server 2016 以降のものを選択する セキュリティの種類を標準(Standard)にして作成する ホストサーバーのサイズ数を今回の手法(入れ子になった仮想化)がサポートされているシリーズ

本記事では、OpenAIを使用したシステム構築時に遭遇しやすい問題を解説しています。具体的には、消費トークンの計算方法、AIが生成した文章が途中で途切れたときの対策、そしてタイムアウト時間の設定について詳細に説明します。 これらのテクニカルな問題を解決することで、より効果的にOpenAIを活用することが可能になります。 概要 消費トークン数の計算 リクエスト前に消費トークンを計算する リクエスト後の消費トークンを表示する openai LangChain AI生成文章が途切れた時の対処法 文章が途切れたことを検知する 途切れた文章の続きを生成する タイムアウト時間の設定 openai LangChain おわりに 概要 今回の記事では、OpenAIを使用してシステム構築する際に詰まりやすいと感じたポイントを3つご紹介します。 消費トークンを事前もしくは送信後に計算する方法 AIの記載した文

以前の記事で、Azure Resource Managerのデプロイモードについてご紹介しました。 blog.jbs.co.jp デプロイモードの仕組みを理解したことで、ARM TemplateでもCI/CDのパイプラインを作ることができるのではないかと思い、今回試してみることにしました。 本記事ではAzure PipelinesでARM TemplateのCI/CDパイプラインを作成するための事前準備をしていきます。 CI/CDとは CI/CDとは継続的インテグレーション(Continuous Integration)と継続的デリバリー(Continuous Delivery)の略称です。 CI/CDはソフトウェア等の変更を継続的にテストし、自動でデプロイするようにした開発手法のことを指します。 事前準備 今回は以下のドキュメントを参考にし、CI/CDのパイプラインを作成していきます。

Azure Storageにカスタムドメインを設定して利用する必要がありました。 同じテーマで以前記事を書いた気もしたのですが、その際はAzure Storageの静的Webサイトに対するカスタムドメインの設定でした。 blog.jbs.co.jp BLOBへのアクセスに対するカスタムドメイン設定は書いたことが無かったので、改めてまとめてみました。 前提 ストレージ エンドポイントのホスト名を取得 Azure DNSでCNAMEレコードを作成する ストレージアカウントにカスタムドメイン名を設定する HTTPアクセスを許可する カスタムドメインでのアクセスをテストする おわりに 前提 今回は以下の前提で進めます。 Azure Storageは汎用 v2で作成 ドメイン管理はAzure DNSを利用（すでに作成・移管済み） HTTPアクセスのみとする*1 カスタムドメイン設定時のダウンタイムは

前回、はてなブログAtomPubから、ブログの下書き情報をAzure Logic Appsで取得しました。 blog.jbs.co.jp 取得したデータはxml形式になっており、またタイトルや本文など様々な情報が含まれていて、このままだと活用が出来ません。 本記事では、取得したxmlのデータを要素ごとに抽出して、ロジックアプリの後のアクションに活用できるようにしていきたいと思います。 前回のおさらいと今回の目的 ロジックアプリへのアクションの追加 JSONの作成 JSONの解析 要素の抽出 おわりに 前回のおさらいと今回の目的 はてなブログAtomPubから入手したxmlのデータは以下のような形式になっていました。 ここから、titleやauthorなど、個々の要素を抽出するのが目的です。 ロジックアプリへのアクションの追加 JSONの作成 まずは、「作成」アクションとjson式を使って、

OpenAI DevDayで発表されたGPT-4のマルチモーダルモデルであるGPT-4 Turbo with Visionが、Azure OpenAIでもプレビュー機能として使用できるようになりました。 今回の記事では概要と簡単な使用方法に触れていきます。 概要 前提条件 モデルの使用データ リージョン 読み込みモードとトークン数の計算方法 low high auto 使用可能なトークン数 モデルのデプロイ GPT-4 Turbo with Visionモデルの使用 プレイグラウンド 追記：動画を送信する場合 Python おわりに 概要 GPT-4 Turbo with Visionモデルは以下のような特徴があります。 文字＋画像を送信して、文字の返答を得る 2023年4月時点のデータで学習 最大トークン数が大幅に拡張されている 11月に先行リリースされたGPT-4 Turboモデルにつ

Azure OpenAI Serviceで新しくなったコンテンツフィルターとブロックリストについて試してみました。 特に、新しいコンテンツフィルターのJailbreak risk detectionは、プロンプトインジェクションへの対策でも活用できると思います。 概要 コンテンツフィルターの機能概要 ブロックリストの機能概要 Jailbreak risk detection（脱獄リスク検出）の使い方 コンテンツフィルターの作成 コンテンツフィルターをモデルに適用する Jailbreak risk detectionのテスト 通常のフィルターでのテスト Jailbreak risk detectionを有効にしたフィルタでのテスト ブロックリストの使い方 ブロックリストの作成 ブロックリストを含んだコンテンツフィルターの作成 ブロックリストを含んだコンテンツフィルターをモデルに適用する ブロ

前回の記事ではAzure Resource Managerのデプロイモードについてご紹介しました。 blog.jbs.co.jp 本記事では実際に完全モード、増分モードでデプロイした場合の動作を確認してみようと思います。 事前準備 完全モードの場合 リソース リソースプロパティ 増分モードの場合 リソース リソースプロパティ まとめ 事前準備 今回はリソースと、リソースプロパティ2つの観点での動作確認を行います。 まず、リソースグループ内にVnetとストレージアカウントを作成しました。 また、Vnet内にはサブネット2つを作成しています。 このリソースグループに対して完全モードまたは増分モードでデプロイするための、ARM Templateを用意しました。 以下のテンプレートではVnet1つに対してサブネット1つを定義しています。 { "$schema": "https://schema.m

今回は、Azure Monitorエージェントを使用してLog Analytics WorkspaceへVirtual Macheine(以下、VMと略称）のデータを転送する方法をご紹介します。 Azure Monitorエージェントインストール条件 ネットワーク 認証 Azure Monitorエージェントのインストール データ収集確認 最後に Azure Monitorエージェントインストール条件 Azure Monitorエージェントをインストールするためには、以下の条件を満たしている必要があります。 ネットワーク NSGなどのファイアウォールを使用する場合、Azure Resource Managerサービスタグを有効にする必要があります。 以下のエンドポイントにアクセスできる必要があります。 global.handler.control.monitor.azure.com <vi

ARM Templateを利用していく中で、Azure Resource Managerには2つのデプロイモードがあることを知りました。 今回は2つのデプロイモードについて調べてみました。 デプロイモードについて 完全モード 増分モード まとめ デプロイモードについて Azure Resource Managerには「完全モード」と「増分モード」という、2つのデプロイモードがあります。 完全モード 完全モードでは、リソースグループに存在していてもARM Templateに存在していないリソースは、 ARM Templateデプロイ時に削除されます。 ただし、完全モードで削除されるかどうかはリソースによって異なるようです。詳しくは以下のドキュメントをご参照ください。 learn.microsoft.com また、以下の場合では、まだ完全モード利用はサポートされていないようです。 サブスクリプ

オンプレミスからクラウドへの移行を進める企業も増え、クラウドサービスの需要は増加しています。 業務でもクラウドを扱うことが増えてきたため、クラウドに関する学習もかねて Azure の資格試験である AZ-104: Microsoft Azure Administrator を受験しました。 今回の記事では私が資格試験を受験したときの流れをご紹介しようと思います。 これから Azure の学習をしようと思っている方の参考になれば幸いです。 AZ-104: Microsoft Azure Administrator とは 学習 使用した教材 学習方法 教本 演習問題 Azure 環境の実操作 学習時間 試験 申し込み 結果 おわりに AZ-104: Microsoft Azure Administrator とは AZ-104: Microsoft Azure Administrator は、

2023年11月にDALL·E 3のパブリックプレビューが始まりました。DALL·E 2からかなりの進化がありましたので、DALL·E 3の使い方とDALL·E 2との違いについて記事にしたいと思います。 learn.microsoft.com DALL·E 3の使い方 利用可能リージョン プレイグラウンドで利用 DALL·E 2との比較 文字入りのロゴ まとめ DALL·E 3の使い方 利用可能リージョン 記事執筆時点（2023年11月21日）ではスウェーデン中央のリージョンのみで利用可能です。Azure OpenAI Serviceが利用できていれば追加の申請は特に必要ありません。 プレイグラウンドで利用 スウェーデン中央リージョンのリソースでプレイグラウンドにアクセスすると、デプロイのセレクトボックスからDALL·E 3（現在のAzure OpenAI Studio上での表記はDal

Oracleデータベースのバックアップは Oracleデータベースの標準機能である Recovery Manager(RMAN) を使用する場合が多いです。増分バックアップやバックアップの自動管理にも対応するなど、標準機能でありながら便利なツールです。 一方で、ストレージのスナップショット機能によるバックアップも利用されます。オンプレミスでは高機能なストレージ製品でないと利用できなかったスナップショットも、Azureではストレージサービスの一機能として利用できます。 今回は Azure Backup を利用したOracleデータベースのバックアップの取得を試します。 Oracleデータベースのバックアップについて OSコマンドによるバックアップ RMAN によるバックアップ Oracleデータベース環境 仮想マシン データベース バックアップの概要 バックアップ設定 バックアップユーザーの

本記事では、Azure Machine Learning（以下、AML）のPrompt Flowにある、評価フローの基本的な使い方について解説します。 評価フローを使用することによって、作成したフローの精度評価を簡単に行うことが可能になります。 AML Prompt Flow 評価するフローの準備 接続とランタイムの作成 フローの作成 精度評価に用いるデータセット データセットの作成 データセットのマウント フローの精度評価 設定 バッチ実行 & 精度評価 結果 QnA GPT Similarity Evaluation QnA Ada Similarity Evaluation おわりに AML Prompt Flow AML Prompt Flowは、Microsoft公式サイトで以下のように説明されています。 AML Prompt Flow は、大規模言語モデル (LLM) によって

OpenAIでは既にリリースされていますが、AzureでもFine-TuningがAzure OpenAI Serviceの新しいfine-tuningモデルのプレビューとして利用可能になったため、試してみました。 この更新にはChatGPTモデル（gpt-3.5-turbo-0613）も含まれております。社内データでファインチューニングしたChatGPTモデルを利用することによって、今までのChatGPTモデルよりもハレーションの少ない回答をすることが期待できます。 使えるファインチューニングモデルの種類 モデルの種類 使えるリージョン クォーター ファインチューニングモデルを作ってみる リソースのデプロイ 権限の付与 トレーニングデータの用意 カスタムモデルの作成 モデルのデプロイ ファイチューニングしたモデルを使ってみる 通常のChatGPTモデルでテスト ファインチューニングしたモ

ハイブリッド構成などでActive Directory Domain Service（AD DS）のドメインコントローラーをAzure上に構築するという事がありますが、その際、Azureならではの注意点というものがあります。 本記事では、Azure上にドメインコントローラーを構築する際の注意点3つご紹介します。 ドメインコントローラーとは Azure上にドメインコントローラーを構築する際の注意点３つ 注意点１：ストレージ構成について 注意点２：DC昇格後のDNS設定変更について 注意点３：時刻同期設定について DC昇格後のDNS設定変更手順 さいごに ドメインコントローラーとは AD DSの役割を提供するサーバのことで、ドメインを構築する際にドメイン1つに対して1台以上のドメインコントローラー（DC）が必要です。 本番環境では、冗長化のため2台以上で構成することが推奨されます。 Azure

前回の記事において、Event Hubsの基礎的な情報をご紹介させていただきました。 blog.jbs.co.jp 今回は実際にEvent Hubsの構築および、Event Hubsへのメッセージの送信受信を行っていきます。 イベントハブ名前空間の作成 プロジェクトの詳細 インスタンスの詳細 セキュリティ ネットワーク接続 イベントハブの作成 イベントハブの詳細 保持 キャプチャの詳細 イベントハブの確認 イベントハブの状態 データの送信/受信 認証情報の取得 データ送信用/受信用 Pythonコードの編集 送信用Pythonコードの編集 受信用Pythonコードの編集 Pythonコードの実行 メッセージの送信 データの受信 おわりに イベントハブ名前空間の作成 Event Hubsの構築は先ず最初に「イベントハブ名前空間」の作成を行います。 プロジェクトの詳細 「プロジェクトの詳細」セ