まもなく17周年を迎えるpixivでは、長年にわたり作品などの全文検索基盤としてApache Solrを使用してきました。 しかし、サービスの規模が拡大する中で、従来の基盤に問題が生じていました。これを受けて、pixivでは全文検索基盤のリプレイスを実行しました。 今回のリプレイスにより、pixivでは検索結果の更新反映時間や検索APIのレイテンシが大幅に短縮されました。また、今後のスケールに対応可能になり、新機能開発においても全文検索が容易に利用できるようになりました。 本記事では、pixivの全文検索基盤の歴史や、今回オンプレミス環境でElasticsearchクラスタを構築し、リプレイスを完了するまでの取り組みについてご紹介します。 こんにちは。pixivのnamazuです。最近、私たちのチームで進めていたpixivの全文検索基盤のリプレイスが完了しました。この機会に、pixivの全
Search and analytics, data ingestion, and visualization – all at your fingertips.
ElasticsearchとKibanaがオープンソースライセンスに復帰、Elasticが発表。AWSがフォークに投資し、市場の混乱は解決されたと
ElasticsearchとKibanaがオープンソースライセンスに復帰、Elasticが発表。AWSがフォークに投資し、市場の混乱は解決されたと オランダに本社を置くElasticは、ElasticとKibanaのライセンスにオープンソースライセンスであるAGPLを追加すると発表しました。 3年前の2021年、同社はElasticをマネージドサービスとして提供しているAWSを名指しで非難しつつ、ElasticのライセンスをApache License 2.0から、商用サービス化を制限する「Server Side Public License」（SSPL）と「Elastic License」のデュアルライセンスへ変更しました。 それ以来、ElasticとKibanaはオープンソースではなくなっていました。 同社CEO Shay Banon氏は、今回のオープンソースへの復帰を発表したブログの
ElasticsearchでLIKE検索のような部分一致検索を高速に実現する方法 - Taste of Tech Topics
この記事は Elastic Stack (Elasticsearch) - Qiita Advent Calendar 2024 - Qiitaの11日目の記事です。 はじめまして。テクニカルコンサルタントの江見と申します。 普段はElasticsearchに関するコンサルティング業務に携わっております。 業務の中で、RDB（MySQLやPostgreSQLなど）の検索機能に関する課題として、「LIKE検索の速度が遅い」という声を多くいただきます。 特に、大量のデータを扱うシステムでは、LIKE検索が原因でパフォーマンスが低下し、検索レスポンスの遅延が問題となることが少なくありません。その解決策として、RDBからElasticsearchへの移行を検討されるケースが増えています。 Elasticsearchは、高速で柔軟な全文検索が可能な強力な検索エンジンです。ただし、その性能を十分に引き
ElasticsearchによるZOZOTOWNへのベクトル検索の導入検討とその課題 - ZOZO TECH BLOG
こんにちは。検索基盤部の橘です。ZOZOTOWNでは、商品検索エンジンとしてElasticsearchを利用し、大規模なデータに対して高速な全文検索を実現しています。 Elasticsearchに関する取り組みは以下の記事をご覧ください。 techblog.zozo.com 検索基盤部では、ZOZOTOWNの検索結果の品質向上を目指し、新しい検索手法の導入を検討しています。本記事ではベクトル検索と呼ばれる検索手法に関して得た知見を紹介します。 ※本記事はElasticsearchバージョン8.9に関する内容となっています。 目次 目次 ベクトル検索とは ベクトル検索に期待すること Elasticsearchを使用したベクトル検索の導入 導入の簡略化 デプロイ可能な埋め込みモデル ベクトル検索のクエリ ハイブリッド検索とは Elasticsearchを用いたハイブリッド検索 RRF(Reci
安定したElasticsearchバージョンアップを目指して - MonotaRO Tech Blog
(2024/12/10 13:35) Elastic Stack (Elasticsearch) Advent Calendar 2024のリンクを追加 初めまして。ECシステムエンジニアリング部門 EC商品基盤グループ サーチチーム 松浦です。 今回は、全文検索エンジンElasticsearch のバージョンアップの具体的な取り組みについて取り上げます。 このブログ記事の内容はElasticsearch株式会社が主催するElasticsearch Community in Osaka - connpassで発表した内容を元に作成しました。 また、Elastic Stack (Elasticsearch) - Qiita Advent Calendar 2024 - Qiita の10日目の記事です。 所属チームとシステムの概要説明 今回のバージョンアップの詳細と、これまでのバージョンアッ
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
Rails 8の次、Rails 8.1にはWebプッシュ通知、Elasticsearchを不要にするActive Record検索などを搭載するとDHH氏が説明
Rails 8の次、Rails 8.1にはWebプッシュ通知、Elasticsearchを不要にするActive Record検索などを搭載するとDHH氏が説明 9月26日と27日の2日間、カナダのトロントで開催されたRails World 2024の基調講演に立ったRuby on Rails（以下Rails）の作者であるDHH（David Heinemeier Hansson）氏は、次期Ruby on Railsとなる「Rails 8」の主な新機能を紹介した上で、その次の「Rails 8.1」に搭載予定の3つの新機能についても紹介しました。 Rails 8の新機能については別記事「DHH氏がRails 8の新機能を解説。Redisなど不要になり、SQLite対応でよりシンプルな構成に。Rails World 2024」をご覧ください。 Rails 8.1新機能の1つ目はWebプッシュ通知
AWSでElasticsearch(Elastic Cloud)を使う時のポイント 2024年版（運用編1） - Taste of Tech Topics
こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） こちらはAWS編の記事になります。 AWSでElasticsearch(Elastic Cloud)を使う時のポイントの記事一覧は以下です。 ①構築編 acro-engineer.hatenablog.com ②運用編2 ＜運用編２ 近日公開予定!!＞ 本記事ではElastic Cloudを運用するにあたり、必要な各種設定を実施する手順を紹介します。 はじめに 1. Monitoring設定（Metric／Logs） 2. Snapshot設定 3. 監視設定 まとめ はじめに 以下本記事で
月間2,000万人が使うメルカリ検索機能のアーキテクチャ。ElasticsearchのTiered Index設計とGatlingによる負荷検証 - Findy Tools
公開日 2024/12/17更新日 2024/12/17月間2,000万人が使うメルカリ検索機能のアーキテクチャ。ElasticsearchのTiered Index設計とGatlingによる負荷検証 メルカリはお客さま同士でモノを売買できる日本最大のフリマアプリで、サービス開始から累計40億品以上の商品が出品されています（2024年9月時点）。そんな膨大な商品の中から欲しいものを見つけるために欠かせないのが検索機能です。 この記事では、今の検索チームが運用しているシステムに設計段階から関わっているメンバーの私が、主に設計時に盛り込んだ工夫を紹介しようと思います。 メルカリの検索機能の紹介検索機能は希望の商品を見つけやすくするために不可欠な機能です。例えば、“iPhone”と検索したら、“iPhone”に関連する商品がたくさん出てきます。検索機能は主に以下に説明する4つを提供しています。
Elasticsearchのshard数の増加により発生するオーバーヘッドの正体 | メルカリエンジニアリング
Mercari Search Infra Teamのmrkm4ntrです。 Elasticsearchは1ノードに載り切らない量のデータも複数のshardに分割し、複数のノードに載せることで検索が可能になります。shard数を増やすことで並列にスキャンするドキュメントの数が増えるためlatencyが改善します。ではshard数はいくらでも増やせるのでしょうか？もちろんそのようなことはなく、Elastic社の公式ブログ(https://www.elastic.co/jp/blog/how-many-shards-should-i-have-in-my-elasticsearch-cluster )にもあるようにshard数を増やすことによるオーバーヘッドが存在します。ただしそのオーバーヘッドが具体的に何を指すのかは、先ほどの記事では明らかにされていません。本記事ではそのオーバーヘッドの正体を
AWSでElasticsearch(Elastic Cloud)を使う時のポイント 2024年版（運用編２） - Taste of Tech Topics
こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） こちらはAWS編の記事になります。 AWSでElasticsearch(Elastic Cloud)を使う時のポイントの記事一覧は以下です。 ①構築編 acro-engineer.hatenablog.com ②運用編1 acro-engineer.hatenablog.com 本記事では運用編２としてElastic Cloudにおいて以下を実施する手順を紹介します。 はじめに 1. バージョンアップ 2. 監査ログ設定 まとめ はじめに 本記事では、Elastic Cloud(Elasti
Elasticsearchのハイブリッド検索を用いて高精度なRAGを簡単に実現する - Taste of Tech Topics
こんにちは。 Acroquestのデータサイエンスチーム「YAMALEX」に所属する@shin0higuchiです😊 YAMALEXチームでは、コンペティションへの参加や自社製品開発、技術研究などに日々取り組んでいます。 はじめに 近年、生成AIの発展により、RAG（Retrieval-Augmented Generation）が注目を集めています。RAGは既存の知識ベースから関連情報を検索し、それを基に生成AIが回答を生成する手法です。本記事では、多くの企業ですでに利用されているElasticsearchを使って、シンプルなRAGシステムを構築する方法をご紹介します。 RAGの基本概念 RAGはおおまかに以下の3つのステップで構成されています： 1. 知識ベースの構築（Indexing） 2. 関連情報の検索（Retrieval） 3. LLMによる回答の生成（Generation）
Elasticsearch piped query language, ES|QL, now generally available - Elasticsearch Labs
Elasticsearch piped query language, ES|QL, now generally available Elasticsearch Query Language (ES|QL) is now GA. Explore ES|QL's capabilities, learn about ES|QL in Kibana and discover future advancements. Today, we are pleased to announce the general availability of ES|QL (Elasticsearch Query Language), a dynamic language designed from the ground up to transform, enrich, and simplify data invest
AzureでElasticsearch(Elastic Cloud)を使う時のポイント 2024年版（運用編１） - Taste of Tech Topics
こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） こちらはAzure編の記事になります。 AzureでElasticsearch(Elastic Cloud)を使う時のポイントの記事一覧は以下です。 ①構築編 acro-engineer.hatenablog.com ②運用編2 ＜運用編２ 近日公開予定!!＞ 本記事では運用編1として、Elastic Cloudを運用するにあたり必要な各種設定を実施する手順を紹介します。 はじめに 1. Monitoring設定（Metric／Logs） 2. Snapshot設定 3. 監視設定 まとめ
Elasticは2024年8月30日、今後数週間以内に同社が開発するサーチエンジンElasticsearch、および可視化ツールKibanaのライセンスにAGPL（GNU Affero General Public License）を追加することを発表した。 Elasticsearch is Open Source, Again | Elastic Blog "Being able to call Elasticsearch and Kibana Open Source again is pure joy." — Shay Banon, Elastic Founder and CTO. Read more from @kimchy: https://t.co/PWgXVqyr8M#Elasticsearch — Elastic (@elastic) August 29, 2024 Elas
Elasticsearchはオープンソースです。再び！
［D.N.A］ElasticsearchとKibanaは再びオープンソースと呼べるようになりました。このお知らせに私がどれほど喜んでいるか、言葉では言い表せません。文字通り、ワクワクして飛び跳ねています。Elasticの全社員がそうなっています。オープンソースは私のDNAに組み込まれています。ElasticのDNAに入っているのです。Elasticsearchを再びオープンソースと呼べるようになったのは、純粋に嬉しいことです。 ［LOVE.］要約すると、今後数週間のうちに、ELv2とSSPLの次に、AGPLを別のライセンスオプションとして追加する予定だということです。私たちはライセンスを変更した後も、オープンソースコミュニティのように考え、行動することをやめませんでした。しかし、OSIが承認したライセンスであるAGPLを使うことで、オープンソースという言葉を使うことができ、人々が抱くかもし
日本語埋め込みモデルRuliを使ったBM42 on Elasticsearchと形態素解析器Sudachiによるトークン矯正 - エムスリーテックブログ
こちらはエムスリー Advent Calendar 2024 1日目の記事です。 エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。 今回はQdrantが開発した新しいスコアリングアルゴリズムであるBM42を簡単に紹介し、それをElasticsearch上で構築する方法とその所感をお話しします。さらに形態素解析器のSudachiを使って類似語展開やトークン修正を行ない、BM42の精度を矯正する方法を試したのでその紹介をします。 BM42の紹介に関してはQdrantの記事が最も詳しいですが、このブログでも導入として簡単に紹介します。 qdrant.tech BM25の弱点 BM42とは BM42をElassticsearchで動かす Sudachiによる矯正 モデルによっては意図しないトークンが生成される問題 表記揺れ、シノ
特徴量/featureの設定 ここがElasticの提供するLearning To Rankで特徴的な箇所だと思われます。今あるジャッジメントリストを見ると、クエリー文字列に対してドキュメントの関連度が定義されているので、もう学習ができそうにも見えるかもしれません。しかし、一般的に機械学習では文字列は直接学習に利用することはできません。Elasticseachで言うところのkeywordのように、いくつかの種類をとるような文字列パターンのみならエンコーディングというテクニックを使って数値化する方法も使えるかもしれませんが、通常クエリーには自然文が入ってきます。時には比較的長い文章になることもあるでしょう。そういった文章に対して、適切にエンコーディングを行うことは難しいものと考えられます。 そこでElasticsearchでは、そのクエリーを実際にElasticsearchで検索してみて、そ
はじめに マイベストでBackendエンジニアをしている rince です。 今回は、Google MapのAPIとElasticsearchを使って位置情報検索を実装した話について書きたいと思います。 背景 弊社では自社検証を強みとしてユーザーの"選択"をサポートする商品比較サービス 『マイベスト』 を運営しています。 これまでは実際にECで購入できるモノを中心に扱っていたのですが、ここ最近はモノ以外のサービスの比較・検証にも力を入れています。 その中で、英会話、塾、ジム、買取サービス、クリニックなど自分の通える範囲に店舗や施設があるかどうかが重要なカテゴリにおいて、「新宿駅周辺の英会話教室」や「渋谷から通える大学受験塾」など「位置 × カテゴリ」でページを作って、地図上でどこに店舗があるかを見た上で商品（サービス）を選びたいというニーズが出てきました。 やったこと そこで、ある位置から
ElasticsearchとKibanaがオープンソースライセンスに復帰、Elasticが発表 「AWSがフォークに投資し、市場の混乱は解決された」と
この記事は新野淳一氏のブログ「Publickey」に掲載された「ElasticsearchとKibanaがオープンソースライセンスに復帰、Elasticが発表。AWSがフォークに投資し、市場の混乱は解決されたと」（2024年8月30日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 オランダに本社を置くElasticは、ElasticとKibanaのライセンスにオープンソースライセンスであるAGPLを追加すると発表しました。 3年前の2021年、同社はElasticをマネージドサービスとして提供しているAWSを名指しで非難しつつ、ElasticのライセンスをApache License 2.0から、商用サービス化を制限する「Server Side Public License」（SSPL）と「Elastic License」のデュアルライセンスへ変更しました。 それ
日本語埋め込みモデルRuriを使ったBM42 on Elasticsearchと形態素解析器Sudachiによるトークン矯正 - エムスリーテックブログ
こちらはエムスリー Advent Calendar 2024 1日目の記事です。 エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。 今回はQdrantが開発した新しいスコアリングアルゴリズムであるBM42を簡単に紹介し、それをElasticsearch上で構築する方法とその所感をお話しします。さらに形態素解析器のSudachiを使って類似語展開やトークン修正を行ない、BM42の精度を矯正する方法を試したのでその紹介をします。 BM42の紹介に関してはQdrantの記事が最も詳しいですが、このブログでも導入として簡単に紹介します。 qdrant.tech BM25の弱点 BM42とは BM42をElassticsearchで動かす Sudachiによる矯正 モデルによっては意図しないトークンが生成される問題 表記揺れ、シノ
全文検索エンジン「Elasticsearch」とデータ可視化ツール「Kibana」が再びオープンソースに
オランダのElasticの創設者でCTO（最高技術責任者）を務めるシャイ・バノン氏は2024年8月30日（オランダ時間）、同社の分散型RESTful検索／分析エンジン「Elasticsearch」とデータ可視化ツール「Kibana」の新たなライセンスオプションとして、数週間以内に「AGPL」（Affero General Public License）を追加すると公式ブログで発表した。これにより、「ElasticsearchとKibanaは、再びオープンソースと呼べるようになる」としている。 両製品が再びオープンソースとなることで、Elasticの社員全員が、「文字通り、興奮して飛び跳ねている」と、バノン氏はブログ記事で喜びを述べている。 再びオープンソースにした理由 関連記事 Elasticsearchは新アーキテクチャの実装へ、その他の新機能を含めてElasticのCEOに聞いた El
検索エンジニアが集う！「検索技術勉強会」レポート - Qdrant、Elasticsearch、Vespa 活用事例
検索エンジニアが集う！「検索技術勉強会」レポート - Qdrant、Elasticsearch、Vespa 活用事例 はじめに 検索基盤グループで機械学習エンジニアをしている渡會です。 2024年10月10日に検索技術勉強会が主催する「Search Engineering Tech Talk 2024 Summer」が開催され、株式会社ビズリーチは会場スポンサーをさせていただきました。 この勉強会は、「検索」/「検索システム」に関わる技術や知識を共有する場で、UI・UXやランキング、検索エンジンなど、検索に関わるトピックを扱っています。 今回、筆者を含むビズリーチプロダクトの検索基盤グループのメンバーがイベントに参加したので、そのレポートをお届けします。 検索基盤グループは、事業成長優先で着手できていなかった「ビズリーチ」の検索システムの負債解消や検索品質の向上に取り組むため、2022年に
はじめに こんにちは、エンジニアの長谷です。 最近社内でPostgreSQL拡張をRustで実装しているのですが、世の中でもRust製のPostgreSQL拡張がいろいろと開発されているようです。 今日はその中の1つParadeDBをご紹介します。 ParadeDBとは ParadeDBとはElasticsearchのような機能を持つPostgreSQL拡張で、Rustで実装されています。 似たような拡張としてはZomboDBがありますが、こちらはあくまでElasticsearchの導入が前提でPostgreSQLとElasticsearchを連携するような機能であるのに対し、ParadeDBはPostgreSQLのみで完結できるという特徴があります。 機能としては主にSearch（pg_search）とAnalytics（pg_lakehouse）を提供しており、さらにSearchに関し
こんにちは。 今年の8月にElasticsearch 1.5.0がリリースされました（リリースノート）。 このアップデートでは、sparse_vectorクエリが追加され、疎ベクトルを使ってsparse_vectorフィールドに対してクエリできるようになりました。 元々はtext_expansionとweighted_tokensというクエリがあったようなのですが、sparse_vectorはこれらを代替するものであり、これらは同時に非推奨になったようです。 今回はこの機能を使って、SPLADE[1]というモダンな検索モデルをElasticsearch上で使ってみます。 実験に使ったコードも公開していますので、適宜ご覧ください：https://github.com/argonism/splade-es SPLADEとは？ SPLADEはBERTベースの検索モデルです。 ここでは簡単に説明し
Amazon OpenSearch Service announces Standard and Extended Support dates for Elasticsearch and OpenSearch versions | Amazon Web Services
AWS Big Data Blog Amazon OpenSearch Service announces Standard and Extended Support dates for Elasticsearch and OpenSearch versions Amazon OpenSearch Service supports 19 versions of Elasticsearch opensource, and 11 versions of OpenSearch. Over the years, we have added several stability, resiliency, and security features to recent engine versions, helping customers derive better value from OpenSear
ElasticsearchのFunction Score Queryのパフォーマンスを最適化する | メルカリエンジニアリング
search infra teamのmrkm4ntrです。我々の運用するElasticsearchにはFunction Score Queryを使ったリクエストが送られてきます。Function Score Queryはサブクエリのスコアに任意の関数を適用できるというもので、とても便利な機能ですが、同時にTop K(スコアが大きいものからK個を取得する場合)クエリ処理の最適化の恩恵を受けられなくなるという欠点もあります。この記事では、Function Score Queryに用いる関数の性質を利用し、Function Score QueryとTop Kのクエリ処理の最適化を両立させる方法について説明します。本記事は読者が検索エンジンの仕組みにある程度詳しいことを想定しています。 Top Kのクエリ処理の最適化 Elasticsearchの検索機能を提供しているライブラリLuceneには、T
pixivコミックストアの作品検索機能をMySQLの全文検索からElasticsearchに移行しました - pixiv inside
こんにちは！ピクシブでバックエンドエンジニアとして働いているこのぴーです。 今回はpixivコミックストアの作品検索機能をMySQLの全文検索からElasticsearchに移行したときの手順と移行後の効果についてお話していこうと思います。 背景 pixivコミックストアのバックエンドはRuby on Railsで作成していて、今回Elasticsearchへ移行する作品検索機能はMySQLの全文検索を使用して実装されていました。 作品数が少なかった実装当時は問題なく動いていたのですが、取り扱う作品数が数十万作品となった現在、スロークエリの大部分を検索クエリが占めるほど性能が劣化してしまう事態となっていました。 さらに、インクリメンタルサーチによりクエリが大量に発行されたことが引き金となる障害が発生したため今回Elasticsearchへと移行することとなりました。 Elasticsear
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pixivの全文検索基盤とElasticsearchによるリプレイス - pixiv inside
Elasticsearch Is Open Source. Again!
求人検索をElasticsearchにしたら 速度２倍速くなった！！
Elasticsearchが再びOSSに ―ライセンスにAGPLを追加 | gihyo.jp
ElasticsearchによるLearning To Rank(LTR)入門 - Qiita
Google MapのAPIとElasticsearchを使って位置情報検索を実装する
PostgreSQLだけでElasticsearchのようなキーワード検索！ParadeDB触ってみた
LLMとVectorDBで幸せになれるこの時代に、私は、ElasticsearchでSPLADEをしたいのです。