ElasticsearchのANNを利用して100万件のベクトル検索を高速化！ - Taste of Tech Topics
この記事は Elastic Stack (Elasticsearch) Advent Calendar 2023 18日目の記事です。 こんにちは。 Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 さて、最近はLLMの発展に伴ってRAG（Retrieval-Augumented Generation）が盛んに活用されています。 その中で、キーワードベースの検索だけでなくベクトル検索を併用するケースが多く見られ、実際にElasticsearchが利用されているケースも多く目にします。そのため、Elasticsearchのベクトル検索に興味を持っている方も多いと思います。今回の記事では、Elasticsearchのベクトル検索の速度な
Elasticsearchでkangxi radicalsを正規化して検索する - 橋本商会
テキストをPDF化した時に、見た目が同じでよりcodepointが先に現れる12215の方になってしまうらしい
ZOZOTOWN検索の精度改善の取り組み紹介 - ZOZO TECH BLOG
こんにちは。検索基盤部の山﨑です。検索基盤部では、検索基盤の速度改善やシステム改善だけではなく検索の精度改善にも力を入れて取り組んでいます。 検索システム改善についての過去の取り組み事例は、こちらのリンクをご参照ください。 techblog.zozo.com また、ZOZOTOWNの検索ではElasticsearchを活用しています。Elasticsearchに関する取り組み事例はこちらのリンクをご参照ください。 techblog.zozo.com 本記事では、ZOZOTOWNで近年実施した検索の精度改善の取り組み事例を紹介します。 目次 目次 はじめに ZOZOTOWN検索の処理フロー ZOZOTOWN検索改善の方針について 商品のリランキングロジックについて 商品のリランキングロジックの概要 特徴量ロギングの導入について 今後のZOZOTOWN検索の展望 おわりに はじめに ZOZOT
SQLとElasticsearchとのクエリの比較 - Qiita
SQLとElasticsearchのクエリがそれぞれどう対応しているのか、よく使われると思うものについて大体まとめました。 環境 Elasticsearch 6.2.4 〜 7.5 前提条件 記載する内容は以下の条件を前提とします。 Elasticsearchで検索する際のURLの記載は省略 Elasticsearchでは検索を行う際に以下のようなURLへリクエストします。 {ElasticsearchのURL}/{index名}/_search 例えばSQLでproductというテーブルに対して索引を行っている場合、Elasticsearchでは以下のURLへリクエストを行っています。 http://localhost:9200/product/_search 以降Elasticsearchのリクエスト先URLは記載しませんが、上述のようなURLへリクエストしている前提です。 文字列のデ
Elasticsearchで検索結果に多様性を持たせる
Elasticsearchで検索結果に多様性を持たせるElasticsearchで表示順序を「良い感じ」にするためのアプローチ なにをしたいのか Elasticsearchを使って検索機能を提供する場合、結果を表示するページのコンテンツには検索条件の有無に関わらずElasticsearchの検索結果を用いるのではないでしょうか。 ここで特定のユーザーが1つ以上のコンテンツを投稿できるサイトを考えてみましょう。 このサイトでは上述のようにコンテンツ一覧ページにおいてElasticsearchを使用しておりユーザーのコンテンツを投稿日時の降順で並べることで「賑わい」を演出しています。 ところがある日、特定のユーザーが連続で投稿するとそのユーザーのコンテンツばかりが表示されてしまうことに気が付きました。これではコンテンツ一覧ページを見た人からは特定のユーザーばかりが投稿しているように見えてしまい
Elasticsearch運用ノウハウ | メルカリエンジニアリング
こんにちは、メルカリMicroservices SREチームの藤本(@jimo1001)です。 私は現在、Embedded SRE として サーチインフラチームに入り活動しています。このサーチインフラチームは、Elasticsearchを使用した検索基盤を管理し、様々なマイクロサービスに検索機能を提供するチームです。この検索基盤は非常に巨大なプラットフォームで、メルカリ全体のマシンリソースの高い割合を占めており、メルカリの検索を支える非常に重要なものです。私の Embedded SRE としてのミッションは検索基盤の信頼性の向上と自動化を推進することです。 今回は、メルカリの検索基盤で利用している Elasticsearch における運用のノウハウを紹介したいと思います。 Elasticsearch とは Elasticsearch は、Elastic社が開発する Apache Lucen
Elasticsearch勉強会#44 20210624
2021/6/24に行われたElasticsearch勉強会のスライドです。 7.3でGAとなったベクトルフィールドの機能とBERTを組み合わせて高精度な日本語類似検索を行う発表をしました。Read less
Amazon Elasticsearch Service が AWS Graviton2 (M6g、C6g、R6g、および R6gd) インスタンスの提供を開始
Amazon Elasticsearch Service は、AWS Graviton2 インスタンスファミリーのインスタンスの提供を開始しました。インスタンスタイプには、汎用 (M6g)、コンピューティング最適化 (C6g)、およびメモリ最適化 (R6g、R6gd) が含まれます。お客様は、現世代 (M5、C5、R5) の対応する x86 ベースのインスタンスと比較して、最大 38% 向上したインデックス作成スループット、50% 削減されたインデックス作成レイテンシー、30% 向上したクエリパフォーマンスの恩恵を受けることができます。 Amazon EC2 M6g、C6g、R6g インスタンス、およびそれらのディスクバリアントには、64 ビットの Arm Neoverse コアと AWS が設計したカスタムシリコンを用いて構築された AWS Graviton2 プロセッサが搭載されていま
ElasticsearchとKibela APIを使ってSlackでのCSお問い合わせ対応業務を改善した話 - BASEプロダクトチームブログ
この記事はBASE Advent Calendar 2020の11日目の記事です。 devblog.thebase.in BASE株式会社 Data Strategy チームの@tawamuraです。 BASEではオーナーの皆様や購入者様のお問い合わせに対して、Customer Supportチームが主となって対応をしています。その中でもいくつかの技術的なお問い合わせに対しては、以下のようにSlackの専用チャンネルを通して開発エンジニアに質問を投げて回答を作成することになっています。 CSチームから調査を依頼されるお問い合わせの例 これらのCS問い合わせ対応は日々いくつも発生しており、CSお問い合わせ対応を当番制にして運用してみた話 でもあるように週ごとに持ち回り制で各部門のエンジニアが対応しているのですが、どうしても調査や対応に時間が取られてしまうという問題が発生していました。 dev
Elastic Stack 7.7がリリースされた
ElasticのWorkplace Searchを触ってみています(その1、その2)が、Elastic Stackの7.7.0がリリースされてしまいました。 簡単ですが、リリースブログを見ながら気になった点をメモしとこうかと。 本家のリリースブログ いっぱいあるんですよ、これが。まぁ、内容かぶってるのもあるんですが。 Elastic Stack Elastic Stack 7.7.0をリリース Elasticsearch 7.7.0 released Kibana 7.7.0 released Logstash 7.7.0 released Enterprise Search系 Elastic Enterprise Search 7.7 released, featuring Workplace Search GA | Elastic Blog Elastic App Search upd
Elastic Stack Advent Calendar 2020（2020年のElastic Stackを振り返る） - Taste of Tech Topics
こんにちは、アクロクエストテクノロジー株式会社でElastic Stackのコンサルティング業務を担当している吉岡です。本記事は、Elastic Stack (Elasticsearch) Advent Calendar 2020 の1日目の内容になります。 目次は以下です。 Elastic Stackリリース概要 Elastic Stackのユースケース ■Search(1)検索機能 検索の高速化 ヒープメモリ使用量の大幅削減（同時検索性能の向上） 非同期検索のサポート ■Search(2)エンタープライズ検索 エンタープライズ検索ソリューションの整理 Enterprise SearchがKibana UIと統合 ■Observe(1)ログ監視／可視化 新アラートフレームワークの統合 ダッシュボード連携機能 ■Observe(2)機械学習による異常検知 教師あり機械学習の強化 サービスヘ
Elasticsearchを理解するためにLuceneを使った検索エンジン構築に入門してみた - 好奇心に殺される。
Java / Lucene / Elasticsearch Elasticsearchを理解するためにLuceneを使った検索エンジン構築に入門してみた Elasticsearchを理解する為にLuceneに入門しました。今回は簡単な検索エンジンを構築します Overview こんにちは pon です。Elasticsearchで思わぬ挙動にでくわすと、Javaすらやったことのない僕に出来ることはネットの海を彷徨うだけでした。これはよくないと思い、Elasticsearchの仕組みをある程度理解できるように Lucene に入門しました。今回はLuceneのパッケージを利用して簡単な検索エンジンを動かしてみようと思います。Elasticsearch内部でどのようにLuceneを使っているのか知りたい人は必見です。 Lucene とは https://lucene.apache.org/ E
【Embulk】Embulkを使用してMySQLからElasticsearchへデータ転送する - Qiita
はじめに 前回、MacにEmbulkコマンドのインストールまでをしました。 今回は、Embulkを使用してMySQLからElasticsearchへのデータ転送をしてみます。 環境構築 Mac上にDocker環境を構築しておきます。 - MySQL:5.7 - Elasticsearch:7.9.0 - Kibana:7.9.0 docker-compose 参考までにサンプルを用意しました。 version: '3.1' services: # MySQL db: image: mysql:5.7 container_name: my-example-mysql57 restart: always environment: MYSQL_ROOT_PASSWORD: root MYSQL_ALLOW_EMPTY_PASSWORD: 1 TZ: "UTC" volumes: - ./mysq
Elasticsearchクラスタを再構築し、無停止で切り替えるベストプラクティス - Hatena Developer Blog
はてなブックマークチームのid:taraoです。はてなブックマークでは、以前はオンプレミスなElasticsearchクラスタを運用していましたが、AWS上にAmazon Elasticsearch Serviceのクラスタを構築して切り替えました。この切り替えではクラスタの再構築に限らず、アップグレードやマッピングの変更にも使える一般的な方法を採用しました。 この記事では、その具体的な方法を紹介します。 一般的な方法を採用したい目的と背景 検討したクラスタ再構築や切り替えの方法 1. ローリングアップグレード 2. スナップショット・リストア 3. クラスタ横断レプリケーション 4. Reindex API 5. アプリケーションコードによる再インデキシング 目的・条件による取りうる方法のまとめ 採用した再インデキシング手法の詳細 ダブルライトをどのように実現するか 非同期ダブルライトの
Biryani プロジェクト(メッセージ検索機能のCloudSearchからElasticsearchへのリプレイス)について vol.1 - Chatwork Creator's Note
こんにちわ、SRE部のcw-tomitaです。 今回は、7/17(金)に行われた全社合宿で、プロジェクトとしては惜しくもベストPJ賞を逃したものの、オーディエンス賞を受賞(全社跨いで、半期の間に実施された数々のPJの中で厳選された３つのPJだけが賞をもらえる)し、また、このプロジェクトをリードしたcw-kajiwaraが、このプロジェクトを通しての圧倒的なコスト削減の実績からCFO賞を個人受賞するという、上期の社内の賞レースを席巻した、メッセージ検索機能のリプレイス(通称：Biryani PJ) *1 に関して紹介したいと思います。 写真は、先週行われた全社のオンライン(役員・準備/進行担当の方を除く）合宿での、感動の受賞シーン。 目次 目次 tl;dr 移行前の構成 移行を検討することになった背景 規模の変化 構成の変化 移行先の検討の開始 Elasticsearchの事前調査 Powe
KuromojiとSynonymとパッチ(LUCENE-9123) by Jun Ohtani
KuromojiとSynonymと パッチ(LUCENE-9123) Jun Ohtani @johtani Elasticsearch勉強会 2020/06/18 自己紹介 ‣ フリーランスエンジニア ‣ Apache Solr入門(第2版まで)や データ分析基盤構築入門の著者の一人 ‣ KibanaのAnalyze API UI pluginの作者 アジェンダ ‣ 日本語と類義語 ‣ Ananlyzerとは? ‣ Kuromojiのおさらい ‣ Synonymのおさらい ‣ Kuromoji+Synonymの問題点 ‣ LUCENE-9123 日本語と類義語 ‣ こんなことありますよね? ‣ 関西国際空港を関空で検索したい ‣ 国際連合を国連で検索したい ‣ コンビニエンスストアをコンビニで検索したい Elasticsearchでやるには? ‣ Analyzer/Text Analys
Elasticsearchの性能監視で見るべき４つの指標 - ManageEngine ブログ
Reading Time: 1 minutesこんにちは、ManageEngineエンジニアの園部です。本日は、全文検索エンジンのElasticsearchに関する話題をお届けします。 Elasticsearchは、拡張性の高い分散型オープンソースの検索分析エンジンです。構造化されたデータをリアルタイムに格納・取得可能のため、ログ分析、リアルタイムアプリケーションの監視、クリックストリーム分析などに使用されます。 Elasticsearchの特徴は以下の通りです。 HTTP Webインターフェースを備えたマルチテナント機能 JSON文書の形式でデータを表示し、REST APIを介して全文検索が可能 PHPやRuby、.NetやJavaなどの言語用のWebクライアントに対応 Elasticsearchの最大の特徴である、ビッグデータの収集と解析の機能を最大限に活用する第一歩として、 Elas
AWS が Amazon Elasticsearch Service の UltraWarm を一般提供することを発表
Amazon Elasticsearch Service の UltraWarm が一般でご利用可能になりました。UltraWarm は Elasticsearch と Kibana を使用してデータを保存し、インタラクティブに分析できるパフォーマンスを最適化したウォームストレージ層で、GB あたりのコストをホットストレージオプションよりも最大 90% 削減できます。UltraWarm とともに、Amazon Elasticsearch Service はホットウォームドメイン設定をサポートします。ホットストレージで、インデックスの作成とデータへの最速のアクセスが可能です。UltraWarm は、アクセス頻度の低い古いデータ用の安価で耐久性のあるストレージでホットストレージを補完しながら、同じインタラクティブな分析も継続して行えます。 UltraWarm で従来のホットウォーム設定のメリッ
Amazon OpenSearch Service でノードのクラッシュをトラブルシューティングする
Amazon OpenSearch Service クラスターのノードの 1 つがダウンしているので、これを防ぎたいと思っています。 簡単な説明 各 OpenSearch Service ノードは、別々の Amazon Elastic Compute Cloud (Amazon EC2) インスタンス上で実行されます。障害が発生したノードとは、他のノードからのハートビート信号に応答していないインスタンスのことです。ハートビート信号とは、クラスター内のデータノードの可用性をモニタリングする定期的な信号のことです。 クラスターノード障害の一般的な原因は次のようなものがあります。 Java 仮想マシン (JVM、Java Virtual Machine) の高いメモリ負荷 ハードウェア障害 解決方法 障害が発生したノードを確認する 1. OpenSearch Service コンソールにサ
Amazon OpenSearch Service で高い JVM メモリ負荷をトラブルシューティングする
簡単な説明 デフォルトでは、OpenSearch Service はインスタンスの RAM の 50% を最大 32 GiB の JVM ヒープに使用します。JVM のメモリ負荷は、クラスターノード内の Java ヒープの割合を指定します。次のガイドラインは、JVM のメモリ負荷率の意味を示しています。 JVM のメモリ負荷が 75% に達すると、OpenSearch Service は x86 Amazon Elastic Compute Cloud (Amazon EC2) インスタンスタイプのコンカレントマークスイープ (CMS) ガベージコレクタを開始します。ARM ベースの Graviton Amazon EC2 インスタンスタイプは、ガベージファースト (G1) ガベージコレクタを使用しており、このガベージファースト (G1) ガベージコレクタでは追加の短い一時停止とヒープデフ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
