メルカリの検索基盤の変遷について | メルカリエンジニアリング
※この記事は、"Blog Series of Introduction of Developer Productivity Engineering at Mercariの一環で書かれています。 はじめに こんにちは、メルカリ、サーチインフラチームのshinpeiです。今回はメルカリの検索基盤の裏側について、そのアーキテクチャ変遷について書こうと思います。2018~2021年の4年間で、大きく3回、変化をしました。設計の段階では希望と期待にあふれているアーキテクチャでも、問題は後からやってきます。設計には良し悪しがあり、変化することで知見を得ながら、改善を続けています。え、これだと危ないのでは？、、あぁ、やはりそうなるのね。などと、ご笑覧いただければ幸いです。 前回までのお話 メルカリの検索は、創業時から、Solrをベースにしたシステムで組まれてました。その変遷はこちらのスライドにまとめてあ
Elasticsearch 7 クラスタを GKE で立ち上げる. Elasticsearch 7 クラスタを Containers on GCE… | by mocobeta | Medium
Elasticsearch 7 クラスタを Containers on GCE で立ち上げる: (Managed Instance Group 編)）の続きで，今回は GKE (Kubernetes) 上に同じ構成のクラスタを構築します GCE のシンプルさに比べると学習コストは高めですが，より柔軟な設計・運用ができるので，チームに詳しい人 がいれば（または Elasticsearch 管理者がいちから勉強する余力があれば）チャレンジしてみるのもいいと思います。 k8s や GKE そのものの説明は， 少しググれば良質なブログ記事も多数あるので割愛しますが，複雑なシステムなので初心者は書籍で体系的に学ぶのが近道です。私が参考にしたのは以下3冊です。アフィリエイトリンクではありません :) Docker/Kubernetes 実践コンテナ開発入門15Stepで習得 Dockerから入るKub
Elasticsearch Performance Tuning Practice at eBay
Elasticsearch is an open source search and analytic engine based on Apache Lucene that allows users to store, search, analyze data in near real time. While Elasticsearch is designed for fast queries, the performance depends largely on the scenarios that apply to your application, the volume of data you are indexing, and the rate at which applications and users query your data. This document summar
Performance Considerations for Elasticsearch Indexing
Elasticsearch users have delightfully diverse use cases, ranging from appending tiny log-line documents to indexing Web-scale collections of large documents, and maximizing indexing throughput is often a common and important goal. While we try hard to set good general defaults for "typical" applications, you can quickly improve your indexing performance by following a few simple best practices, de
How many shards should I have in my Elasticsearch cluster?
Search and analytics, data ingestion, and visualization – all at your fingertips.
Reindex is coming!
_reindex and _update_by_query are coming to Elasticsearch 2.3.0 and 5.0.0-alpha1! Hurray! _reindex reads documents from one index and writes them to another index. It can be used to copy documents from one index to another, enrich documents with fields, or recreate the index to change settings that are locked when the index is created. _update_by_query reads documents from an index and writes them
Elasticsearch Hot Warm Architecture
Search and analytics, data ingestion, and visualization – all at your fingertips
elasticsearchにoffice系ファイルやPDFを入れる - 弱いエンジニアの備忘録
概要 elasticsearchにpdfやpptx,xlsxなどのファイルを入れる方法についてメモ。 ingest-attachment-pluginを使います。 バージョン情報など macOS Sierra 10.12.5 elasticsearch-5.4.1 手順 1.ingest-attachment-pluginをインストールする。 $ bin/elasticsearch-plugin install ingest-attachment -> Downloading ingest-attachment from elastic [=================================================] 100% @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING:
データベースとしてのElasticsearch - Qiita
はじめに Elasticsearchはスケーラビリティに優れた全文検索エンジンですが、Relational Database(以下RDB)が持つ汎用性や機能の豊富さも追求しているように思います。この記事ではRDBの基本機能がどこまでElasticsearchで実現できるかをまとめました。データベースの知識だけで、全文検索を知らなかった私がElasticsearchを勉強し始めた頃に意外に感じた事を中心に両者の違いを比較しています。APIについては言語ごとの違いは言及せず、REST APIについてのみ述べています。特にバージョンの記述がない場合はElasticsearch 5.1を前提にしています。RDBは近年ポピュラーなOracle, SQLServer, DB2, Sybase, PostgreSQL, MySQLなどが準拠しているSQL92標準を前提としています。 基本的な違い RDB
LogstashからIngest Nodeへの移行 - n-agetsumaの日記
Elasticsearch 5.xからはIngest Nodeを使うと、Logstashを使わなくてもElasticsearchでログの変換ができるとElastic社のスライドにまとまっていたので、LogstashからIngest Nodeへの移行についてメモ。 LogstashからIngest Nodeへの移行 今までFilebeatで集めてきたログをLogstashに送ってjson変換していたところ、Elasticsearchで直接json変換できるようになるため、Logstashを使わなくてもログの収集と可視化が可能となる。 Filebeat(収集) -> Logstash(変換) -> Elasticsearch(蓄積) Filebeat(収集) -> Elasticsearch(変換/蓄積) Logstashのfilterプラグインの多くはIngest Nodeの機能にProce
es_rejected_execution_exceptionが出たのでthread_pool.bulk.queue_sizeを増やした - wyukawa's diary
題記の通りです。 fluent-plugin-elasticsearch 1.9.3からElasticsearch 5.3に書き込んでから下記のようなエラーがたまに出てるのに気付きました。 Could not push log to Elasticsearch: {...{"index"=>{"_index"=>"hoge-2017.03.31", "_type"=>"fluentd", "_id"=>"...", "status"=>429, "error"=>{"type"=>"es_rejected_execution_exception", "reason"=>"rejected execution of org.elasticsearch.transport.TransportService$7@1aa442ab on EsThreadPoolExecutor[bulk, que
Elasticsearch Index Template のバージョニング | DevelopersIO
本番環境の Index はどのバージョンの Index Template が適用されているの？ あ、、仕組み考えるの忘れてた。本番環境運用開始したら当然必要な情報ですね。 今回は Index Template のバージョニング方法についてまとめたいと思います。 Index Template とは？ Index Template を簡単に説明すると、「 Index Template で管理する主な構成要素」をあらかじめテンプレート化しておき、 Index が作成された時にそのテンプレートを元に自動で構成要素を定義できる仕組みになっています。 新しい Index を作成する際に命名規約に沿っていれば、共通の構成要素を自動で適用できる便利な仕組みです。 Index Template で管理する主な構成要素 シャードの構成（Primary Shards、Replica Shards） エイリアスの
Elasticsearch 5.xの新機能と、1.xから5.xへのアップグレード - /var/log/soymsk
この記事は、Elastic stack Advent Calendar 2016の11日目の記事です。 Elasticsearch クラスタを1.7 から 5.0.2まで上げたときに、それなりに変更点が多く、苦労しました。 本記事では、そのときのノウハウを元に、 1.xを使っていて、5.xに上げたいと思っている 人を主な対象に、アップグレードの注意点や、1.xからの追加・変更機能について書きたいと思います。 世の中的にすでに2.xの人が多いと思いますが、数ヶ月前にElasticsearch勉強会に参加した際に、まだ1.xを利用している人がそれなりにいたので、今でもまだ役に立つかなと思います。 とはいえ ver2.xからの変更点も含むので、今2.xを使っている人にも参考になるように書きます。 モチベーション Reindex APIが使いたかった。 Kibanaでダッシュボードの共有URL(s
“Hot-Warm” architecture
Search and analytics, data ingestion, and visualization – all at your fingertips.
RED Elasticsearch Cluster? Panic no longer
Beep… beep… beep… It’s PagerDuty telling you that a node has gone down, or a rack has gone down, or your whole cluster has just rebooted. Either way, your cluster is RED: some shards are not assigned, which means that your data is not fully available. Pop quiz hot shot: What do you do? What do you do?! In earlier versions of Elasticsearch, figuring out why shards are not being allocated require
Elasticsearch 5.0.0のREST Clientを試す - CLOVER🍀
Elasticsearch 5.0.0から、REST API用のJava向けClientが追加されたということで。 https://www.elastic.co/guide/en/elasticsearch/reference/current/release-notes-5.0.0.html これまで、ElasticsearchのオフィシャルなJava向けのClientといえば、NodeClient API（データを持たないClient API）であり、REST APIを使おうと思うとサードパーティ製（例えばJest）を使うことになっていたと思うのですが、5.0.0になってようやくオフィシャルにも追加されたと。 というわけで、まずは試しということで使ってみました。 まあ、感想としては、まだJestを覆すにはちょっと厳しいのでは…という気はしますが。 REST Client自体のドキュメント
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
フリマアプリ「フリル」を支える Elasticsearch を用いた全文検索入門
Elasticsearchと対話Botによる対話型の検索システム一覧
Quantitative Cluster Sizing
Monitoring ElasticSearch Performance