「ベクトル検索 vs 全文検索」〜Amazon Bedrockの埋め込みモデルを用いたプロトタイピング〜 - コネヒト開発者ブログ

※ この記事は、AWS (Amazon Web Services) の技術支援を受けて執筆しています。 はじめに この記事はコネヒトアドベントカレンダー 8日目の記事です。 コネヒト Advent Calendar 2023って？ コネヒトのエンジニアやデザイナーやPdMがお送りするアドベント カレンダーです。 コネヒトは「家族像」というテーマを取りまく様々な課題の解決を 目指す会社で、 ママの一歩を支えるアプリ「ママリ」などを 運営しています。 adventar.org こんにちは！コネヒトの機械学習エンジニア y.ikenoueです。 突然ですがみなさん、Amazon Bedrockをご存知でしょうか。 aws.amazon.com Amazon Bedrock(以下、Bedrock)は、テキスト生成AIをはじめとする基盤モデル (Foundation Model)*1を提供するAWS

[dkfj]

ベクトル検索の仕組み、よく理解してないんだよなぁ。どこかで時間を取って勉強しよう

[at_yasu]

気になる

[p-baleine]

titan は、以前のモデルは 512 トークン越えるとエラーになった。今のモデルはエラーにならない代わりに「512 トークン越えると質が劣化するよ」と注意書きがしてあるから、単に 512 で足切りされているだけだとと思う

[misshiki]

ベクトル検索 vs 全文検索 “キーワードを用いて検索を実行した場合、全文検索ではそのクエリを文書内に多く含むものが上位に並ぶ傾向が、ベクトル検索では文書の長さが短いものが上位に並ぶ傾向が見受けられた。”

[masahiko_of_joytoy]

マネージドな文章埋め込みってどういう理屈で作られてるのかわからないのが気になるんだよな

[lifefucker]

最後に書いてる通りハイブリッドが良いよ

[blueboy]

　厳密に絞り込むなら、複数の検索語で全文検索。　曖昧な検索語で漠然と内容を探りたいときには、GPT 検索（ Copilot ）。後者で大雑把に解答を得たあとで、全社で詳細を探ると、うまく見つかる。

[kiririmode]

Bedrockを使った全文検索とベクトル検索の傾向