[補足] 日本語のトークン効率 GPT-4o 以降のモデルは o200k_base という新しいエンコーディングが使われていて、英語以外のローカル言語のトークン効率が向上しています。日本語において GPT-4 Turbo 以前の cl100k_base が使われているモデルと比較すると、OpenAI による GPT-4o のリリース記事の例では約 30%、個人的な検証の結果では約 27% トークン効率が向上していました。 参考 GPT-4 and GPT-4 Turbo models Hello GPT-4o OpenAI 言語モデルで日本語を扱う際のトークン数推定指標 OpenAI 言語モデルごとのエンコーディング一覧 リージョン 執筆時点 (API 公開時点) で GPT-4o mini は Global standard デプロイと Standard デプロイの両方で East US

HyDE 通常、ベクトル検索を行う際には、事前にベクトル化した検索対象の文書と、都度ベクトル化した検索クエリのベクトルとの類似度を計算します。 歴史的に見れば以前は「text-search-davinci-doc-001」「text-search-davinci-query-001」のように、文書とクエリをそれぞれ別々にモデルに入力して埋め込みベクトルを得ていました。このようにモデルを分けることによって「質問」と「回答」といった文脈や文体が異なるような２つのベクトル空間上での類似度を高めるというアプローチです。 一方、現在Azure OpenAIでサポートされている埋め込みモデルである「text-embedding-ada-002」は上記のように用途によってモデルを分ける必要はなく、文書とクエリを同じモデルに入力して埋め込みベクトルを得ることができるとされています。しかし１つのモデルで良く

Azure OpenAI利用について、よく聞かれる質問についてまとめてみました。 この記事はGitHubで管理されています。これも追加したらいいんじゃない？という内容はプルリクエストまたは本記事へのコメントでお気軽にお寄せください！ 実際にOpenAIのモデルを使わなくても基本料金はかかりますか？ いいえ。基本的には使った分（トークン≒入出力をさせた文量）だけの従量課金制です、使わなければ課金されないし、逆に使った分だけ青天井で課金されます。 「基本的には」というのはファインチューニング（微調整）をしたモデルを使う場合にはホスティング費用が基本料金としてかかります。 プロンプトのログを取りたいのですが、標準機能でできますか？ Azure OpenAIだけではプロンプトのログを取る機能はありません。Azure標準機能の「診断設定」で取得できるログにも出力されません。 そのため、Azure O

Microsoft Ignite 2023 にて、これらのモデルが近いうちに Azure OpenAI Service でも利用可能になることが発表されていましたが、このたびマルチモーダル入力対応の GPT-4 Turbo with Vision のプレビューが開始しました。(テキスト入力のみを受け付ける無印 GPT-4 Turbo は一足先にプレビュー開始していました。) 参考 New models and developer products announced at DevDay (本家 OpenAI) Azure OpenAI Service Launches GPT-4 Turbo and GPT-3.5-Turbo-1106 Models GPT-4 および GPT-4 Turbo プレビュー モデル 利用可能なリージョン 執筆時点で GPT-4 Turbo with Visi

この記事は、Azure Advent Calendar 2023 の 10 日目の記事です。🎄 はじめに Azure OpenAI Service では、 text-embedding-ada-002 というモデルを使って、文章を 1536 次元のベクトルに Embedding できます。 また、PostgreSQL では、 pgvector という拡張機能を使って、ベクトルを保存・検索機能を導入できます。 今回はこれらを組み合わせて、Azure OpenAI で Embedding したベクトルを Golang のアプリケーションから PostgreSQL に保存し、類似度検索する方法を紹介します。 pgvector とは pgvector は、PostgreSQL にベクトルデータを保存・検索する機能を追加する拡張機能です。 ベクトルデータを保存するためのデータ型と、ベクトルデータを

LLMがアプリケーションに組み込まれ始めていますが、LLMを組み込んだアプリケーションというのは非常に評価が難しいです。 いわゆる"AI"を使用しないアプリケーションの場合は基本的に処理はルールベースで実行されるため、単体テストやE2Eテストなりで評価を行うことが可能です。 一方でLLMをはじめとしたAIモデルは確率生成に依る部分が多く、テストパスが通ったからと言って毎回同じ出力が得られるとは限りませんし、自然言語で出力された結果をルールベースで評価することも困難です。 上記のように、モデルアップデートのための評価は大変な反面、LLM自体の進化は早く、モデルのアップデートが頻繁に行われています。 例えばOpenAIのGPT-3.5-turboやGPT-4を見ると、リリースから現在まで0301 / 0613 とバージョニングがされていて、それを並行してgpt-35-turbo-16kなどの別

この記事の主題ではないので簡単に説明しますが、PaaSへのアクセスを閉域化するのがPrivate Endpoint、PaaSからのアクセスを閉域化するのがVNet統合です。 非対応だった以前までの内容 では、登場人物全てが閉域化に対応しているのに、なぜ「Add your data」は閉域化できないのでしょうか。それはAzure OpenAIからCognitive Searchへの通信が執筆時点ではパブリックのみになっているからです。「Add your data」の仕組み図を閉域ネットワーク的に書き換えると以下の図のようになります。 ネットワーク閉域化をしている場合、インターネットからのアクセスを遮断するのでAzure OpenAIからのインターネット経由のアクセスができなくなります。そのため、執筆時点では「Add your data」は閉域化できないということになります。Azure Ope

バージョン 0301 の価格 $0.002 per 1K tokens 参考 Introducing new and updated models to Azure OpenAI Service Azure OpenAI Service pricing 2.3. 最大トークン (gpt-35-turbo-16k) gpt-35-turbo-16k シリーズの登場は、これまで gpt-35-turbo の最大トークン 4,096 がボトルネックになっていたユースケースの突破口になりそうです。 ちなみに、gpt-35-turbo-16k も gpt-35-turbo と同じく cl100k_base エンコーディングを使っていますので、日本語に換算すると入出力合計で約 15,000 文字程度を一連の会話の中で扱うことができるようになります。 ただし、最大トークンが大きいモデルの場合、Recen

はじめに Microsoft Build 2023 で発表された Azure OpenAI Service の On Your Data のパブリックプレビューが開始 しました。体感的には On Your Data は日本国内の全 Azure OpenAI Service ユーザーのうち 8 ～ 9 割程度のユーザーが待ち望んでいた機能ではないかと感じます。(ryohtaka 調べ) What's new in Azure OpenAI Service - June 2023 New easy way to add your data to Azure OpenAI Service (YouTube) しかし、実際に On Your Data を活用するためには気を付けるべきポイントが数多く存在しており、正確な期待値を持ったうえで使うことが非常に重要になってきます。そこで、本記事では On

はじめに Azrue OpenAI Service に クォータ管理が追加されました。Azure OpenAI Service を含むアーキテクチャー検討にも影響する重要な機能追加ですので情報をまとめました。 クォータ管理でできること クォータ管理を使うと、ユーザーのサブスクリプション・リージョンごとに与えられた Tokens Per Minute (TPM) のクォータを、各デプロイに対してユーザー任意の値 (1K 単位) で割り当てることができます。これにより、独自にスロットリングを実装しなくてもワークロードごとに利用できる TPM に制限をかけることができるようになりました。 なお、Requests Per Minute (RPM) に関しては、今後は 1K TPM あたり 6 RPM という値が自動的に適用されるようです。 デプロイが作成されると、割り当てられた TPM は、推論要

2023/12/22 追記: この記事は Semantic Kernel の正式リリース前のバージョンを使用しています。 現在は Semantic Kernel v1 がリリースされています。この記事の当時のバージョンとは大きく API が変わっているため、この記事の内容は参考程度にしてください。 はじめに OSS で開発されている OpenAI を便利に使うための SemanticKernel を試してみました。 SemanticKernel は Microsoft が OSS で開発していて .NET と Python で使えるようになっています。 どちらかというと .NET がプライマリーで Python が後から追加された感じです。リポジトリは以下になります。 今回は簡単に .NET で試してみたメモを残しておきます。 インストール・セットアップ .NET のクラスライブラリなので

はじめに 本家 OpenAI や Azure OpenAI Service で利用できる各言語モデルで使われているエンコーディングについて情報をまとめました。 エンコーディングとは OpenAI の言語モデルにおけるエンコーディングとは、テキストがトークンに変換される際の (トークナイズされる際の) ルールのようなものです。モデルによって使われるエンコーディングは異なります。 エンコーディングの種類 下記 4 種類のエンコーディングが存在しています。 エンコーディング コメント