「ベクトル検索 vs 全文検索」〜Amazon Bedrockの埋め込みモデルを用いたプロトタイピング〜 - コネヒト開発者ブログ
※ この記事は、AWS (Amazon Web Services) の技術支援を受けて執筆しています。 はじめに この記事はコネヒトアドベントカレンダー 8日目の記事です。 コネヒト Advent Calendar 2023って？ コネヒトのエンジニアやデザイナーやPdMがお送りするアドベント カレンダーです。 コネヒトは「家族像」というテーマを取りまく様々な課題の解決を 目指す会社で、 ママの一歩を支えるアプリ「ママリ」などを 運営しています。 adventar.org こんにちは！コネヒトの機械学習エンジニア y.ikenoueです。 突然ですがみなさん、Amazon Bedrockをご存知でしょうか。 aws.amazon.com Amazon Bedrock(以下、Bedrock)は、テキスト生成AIをはじめとする基盤モデル (Foundation Model)*1を提供するAWS
ChatGPTに社内文書に基づいた回答を生成させる仕組みを構築しました - コネヒト開発者ブログ
はじめに はじめまして、8月にコネヒトに入社したy.ikenoueです。 突然ですがみなさん、生成AIは使っておりますでしょうか？ ChatGPTやStable Diffusionといった代表的な生成AIの発表から約1年が経過し、そろそろブームも落ち着くかと思っていたのですが、つい先日もOpenAI DevDayにてChatGPTに関する様々なアップデートが発表されるなど、相変わらず目まぐるしい日々が続いていますね。 弊社における生成AIの活用状況はというと、以前に下記の記事にて、Slack上でChatGPTと会話できる環境を社内提供しているという取り組みをご紹介しました。 tech.connehito.com 本日は、上記の社内ツールに新たに追加した「社内文書の参照機能」についてご紹介します。 「社内文書の参照機能」の概要と開発動機 まずは「社内文書の参照機能」の概要と開発にいたった動機
Elasticsearchを用いて類似度ベクトル検索をやってみてわかったこと | ログミーBusiness
2019年7月31日、検索技術研究会が主催するイベント「Search Engineering Tech Talk 2019 Summer」が開催されました。「検索」や「検索システム」にまつわる技術や手法を共有する本イベント。第3回となる今回は、3人のエンジニアが、現場の経験を通して学んだノウハウや、検索にまつわる知見を語ります。プレゼンテーション「Elasticsearch における類似度ベクトル検索のベストプラクティスを求めて 」に登壇したのは、伊藤敬彦氏。講演資料はこちら Elasticserchにおける類似度ベクトル検索のベストプラクティスを求めて伊藤敬彦（@takahi_i） 氏（以下、伊藤）：「Elasticserchにおける類似度ベクトル検索のベストプラクティスを求めて」ということで、いろいろ調査をしてみましてとりあえずまとめてみましたというお話です。 シュッとやると最初は書い
高次元ベクトルデータの近傍検索を「NGT」で試してみる - 元RX-7乗りの適当な日々
三国志のゲームの武将データを（サンプルに）使った近傍検索を、検索ライブラリ「NGT」を使って、試してみた話です。 ひょんなことから、久しぶりに高次元（多次元）ベクトルのデータを扱うことになりました。（もとい仕事で扱うことにしました。） というのも、15年以上前の話ですが、私、学生の頃は情報検索に関する研究をしていまして、いわゆる大容量ファイル等の類似検索で扱えるような高次元なベクトルデータ向けの効率的なインデックスに関することをテーマとしてやっていたんですよね。 ・・・閑話休題。 で、良さげな検索ライブラリがないかなー、と探してみたら、Yahoo!様が「NGT」というドンピシャなライブラリをオープンソースとして公開してくれていたので、早速試してみました。 NGTと高次元ベクトルの検索について 「NGT」は、GitHub の README によると "Neighborhood Graph a
Googleは1つの検索クエリーに対し、1000台のマシンを使って0.2秒で処理している
検索したいフレーズを入れれば即座に結果を返してくれるあのGoogleですが、その1フレーズを処理するため、実に1000台ものサーバを使い、わずか0.2秒で超高速処理していることが、WSDM 2009にて明らかになりました。基調講演を行ったのはGoogleフェローであるJeff Dean氏で、2008年6月における「Google I/O」カンファレンスでは700～1000台のサーバで0.5秒以下の時間がかかると言っていましたが、今回の講演ではユーザーの気づかないところでGoogleは着実に進化し続けていることも明らかになりました。 知られざるGoogleの裏側の最新情報は以下から。 Geeking with Greg: Jeff Dean keynote at WSDM 2009 Single Google Query uses 1000 Machines in 0.2 seconds まず
はてなブックマーク全文検索機能の裏側
そろそろ落ち着いて来たころ合いなので、はてなブックマーク全文検索機能の裏側について書いてみることにします。 PFI側は、8月ぐらいからバイトに来てもらっているid:nobu-qと、id:kzkの2人がメインになって進めました(参考: 制作スタッフ)。数学的な所は他のメンバーに色々と助言をしてもらいました。 はてな側は主にid:naoyaさんを中心に、こちらの希望や要求を聞いて頂きました。開発期間は大体1〜2か月ぐらいで、9月の上旬に一度id:naoyaさんにオフィスに来て頂いて合宿をしました。その他の開発はSkypeのチャットで連絡を取りながら進めてました。インフラ面ではid:stanakaさん、契約面ではid:jkondoさん、id:kossyさんにお世話になりました。 全文検索エンジンSedue 今回の検索エンジンはSedue(セデュー)という製品をベースにして構築しています。Sedu
1日で作る全文検索エンジン - Building a full-text search engine in "ONE" day - - とあるはてな社員の日記
最近、「Introduction to Information Retrieval」というStanfordの大学院向け教科書のドラフトを読んでいます。id:naoyaあたりが勉強会で読んでいる教科書です。この教科書には、効率のいい全文検索システムを作るにはどうすればいいか、という(まさに)教科書的手法が網羅的に書いてあり、そのあたりに興味がある人には、非常に興味深く読めるお勧めの本です。 ただ、面白い面白いと言っているだけでは、エンジニアとしては価値半減ですので、GW中にrubyで一日かけて実装してみました。 さすがに実装は、一日で作ったものですから、非常に素朴です。マルチバイト文字はbi-gramで、シングルバイトはスペースなどの区切り記号で認識しています。インデックスは、rubyの処理系のHashやArrayで保持しており、外部にMarshallで書き出す、というものです。検索エンジン
rails search benchmarks(Sphinx、Ferret、Solrを使った検索速度比較)
I put together some benchmarks for the three main Rails fulltext search solutions: Sphinx/Ultrasphinx, Ferret/acts_as_ferret, and Solr/acts_as_solr. The book Advanced Rails Recipes was a big help in getting Ferret and Solr running quickly. dataset The dataset is the entire KJV Bible, indexed by verse and also by book. This gives us 31,102 smallish records and 66 large ones. Ferret and Solr both us
ファイル名が違っても中身が同じファイルを探してくれる『NoClone』 | POP*POP
ノートPCで仕事をしているHDDの容量が心配になってきます。かといって外付けHDDを使うと今度は持ち運びが面倒になります。 そこで便利そうなのがこのNoCloneです。重複したファイルを探してくれるツールです。そしてこれが便利なのは、きちんと中身をみて判断してくれる点。まったく同じファイルを消していけばHDDの空き容量が確保できます。 たとえばファイル名が違っていても「これとこのファイルの中身は一緒」と教えてくれます。バックアップ用にファイル名を変えていたり、同様のファイルを違う名前でダウンロードしてきたときなどに威力を発揮してくれそうです。 早速インストールして試してみました。スクリーンショットや動作の様子は以下をご覧ください。 ↑ 起動直後の画面。どういう検索をしたいのか、どのフォルダを検索したいのかをここで指定します。 ↑ よく使いそうな検索はテンプレートが用意されています。気が利い
Mind Clip ニコニコ動画がYouTubeに嫌われた本当の理由。
このエントリーを見てはじめて知ったが http://shi3z.cocolog-nifty.com/blog/2007/02/post_02f3.html ニコニコ動画ってsinvieがベースになっていたんだね。私の中で全てがつながった気がする。 ちょうど1年位前に名古屋からsynvie開発者の山本さんが上京されて直接、話を聞く機会があった。あの当時、ちょうどYouTubeがブレイクし始めており、類似の技術の売込みが多々合った状況でsynvieは非常に異色だったと思う。どの技術も動画変換の品質、ＵＩの優秀さをアピールしていたがsynvieは違った。 動画へ突っ込みを入れる機能が訴求ポイントであり、映像の一部分にタギングできる機能もあった。映像そのものよりもテキストデータが重要であると言わんばかりのサービスだった。 これはすごいと直感した。映像にメターデータを紐付けることで検索に対する効果を
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
図解: グーグル検索はどのように動いてるのか | 秋元@サイボウズラボ・プログラマー・ブログ
MySQL FULLTEXT Ngram : LIKE検索より数十倍高速な、お手軽 日本語全文検索 について｜blog｜たたみラボ