ChatGPTやGPT-4をはじめとする大規模言語モデルの能力が向上し、多くの注目を集めています。とくにRAG（Retrieval Augmented Generation）と呼ばれる手法を使って、手元のデータを生成時に活用する手法がよく使われていますが、その性能を改善する方法は様々あります。その中でも、この記事ではRAG内部の検索性能を改善するためのクエリ変換に着目し、HyDEと呼ばれる手法の効果を日本語の検索用データセットを使って検証した結果を示します。 記事の構成は以下のとおりです。 HyDEとは 実験設定 実験結果 実装の詳細 参考資料 HyDEとは HyDE（Hypothetical Document Embeddings：仮の文書の埋め込み）は、入力されたクエリに対して仮の文書を生成し、その文書を埋め込み、検索に使用する手法です[1]。典型的な文書検索では、ユーザーが入力したク
HyDE 通常、ベクトル検索を行う際には、事前にベクトル化した検索対象の文書と、都度ベクトル化した検索クエリのベクトルとの類似度を計算します。 歴史的に見れば以前は「text-search-davinci-doc-001」「text-search-davinci-query-001」のように、文書とクエリをそれぞれ別々にモデルに入力して埋め込みベクトルを得ていました。このようにモデルを分けることによって「質問」と「回答」といった文脈や文体が異なるような２つのベクトル空間上での類似度を高めるというアプローチです。 一方、現在Azure OpenAIでサポートされている埋め込みモデルである「text-embedding-ada-002」は上記のように用途によってモデルを分ける必要はなく、文書とクエリを同じモデルに入力して埋め込みベクトルを得ることができるとされています。しかし１つのモデルで良く
【音楽】HYDE LIVE 2023 Presened by Rakuten NFT＠幕張メッセ 2023.09.10 - 旅のRESUME
ブログへお立ち寄り頂きありがとうございます。 昨日、幕張メッセで行われたHYDEのライブに行ってきました。 幕張メッセでライブの時は、イオンモール海浜幕張の駐車場に車を止めます。 開場は３：３０、開演は１７：０６で、イオンに着いたのは開場時刻くらいでしたが、昨日は屋上に若干空きがあったくらいでほぼ満車(;・∀・)ちょっと焦りましたね。 飲み物調達のために食品売り場へ行くと、千葉ロッテマリーズのユニフォーム来た人がいっぱい。 どうやらロッテとHYDEファンでイオンは溢れていたようです^^; さらに道路はコストコ行きの車で大渋滞 今回はスタンディング(アリーナ）が取れなかったので、久しぶりにスタンド席です。 たぶん武道館のカヴァーデイル&ペイジ以来のスタンド席。 情報が古すぎる（笑） HYDEのソロはVAMPSより過激らしいと聞いていたのでまあいいか。 スタンディングエリアはブロック毎の入場な
【和歌山県・和歌山市】和歌山旅行記〔１３〕和歌山城へ向かったはずが『和歌山城ホール』でHYDEの展示を見て一休み - 旅のRESUME
ブログへお立ち寄り頂きありがとうございます。 www.bluemoonbell.work 和歌山旅行２日目。 高野山奥の院⇒黒潮市場⇒紀三井寺の次は和歌山城へ向かいました。 娘は「コンビニに寄りたい」「グリーンソフト食べたい」と言い続けるものの、探している時にかぎってコンビニが見つかりません。 和歌山市営中央駐車場 車を走らせていると和歌山城が見えてきました。 ここで娘が「和歌山城に行くなら駐車場あっち」と言うので、言われるままに駐車場に車を止めました。 以前婿君と来た時にここに止めたそうです。 場所は和歌山市役所の東庁舎の裏になります。 ２４時間年中無休 8:30～17:00は６０分以内無料 ６０～９０分３２０円、以降３０分まで毎１６０円 場所を考えると安いほうでしょうか？ ※市役所周辺には、他にもたくさんパーキングがあります 和歌山城ホール ここで再び娘「城へ行く前に和歌山城ホールに寄
期待高まる！「鬼滅の刃」柱稽古編のOP主題歌がMYFIRSTSTORY×HYDEの「夢幻」！！ : えびまるブログ
◆個人情報の管理について◆ 本サイト【https://ebimal-blog.net/】（以下、当サイト）では、 お問い合わせ内容に関する対応・確認・相談および、 情報提供のメール送信（返信）の目的以外には使用しません。 お問い合わせの際に取得しました個人情報を第三者へ開示することは一切いたしません。 警察や裁判所などの公的機関より、書面による請求がありました場合、 法令順守・公序良俗に従い、ただちに請求のあった個人情報を開示します。 ◆当サイトに掲載されている広告について◆ 当サイトでは第三者配信による広告サービス 「Google Adsense（グーグルアドセンス）」を使用しております。 広告配信にはCookieを使用し、当サイトを含めた過去のアクセス情報に基づきまして、 広告を配信しています。 広告を配信する際、ユーザー様の当サイトや他サイトへのアクセスに関する情報 （氏名、住所、電
Advanced RAG — Improving retrieval using Hypothetical Document Embeddings(HyDE)
Any SourceWhat is HyDE ?HyDE uses a Language Learning Model, like ChatGPT, to create a theoretical document when responding to a query, as opposed to using the query and its computed vector to directly seek in the vector database. It goes a step further by using an unsupervised encoder learned through contrastive methods. This encoder changes the theoretical document into an embedding vector to lo
HYDE
Music動画
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LangChainを使ってHyDEによるクエリ変換の効果を検証する - Ahogrammer
Azure OpenAIでHyDEを使ったRAGの検索精度向上を目指す！