Elasticsearch運用ノウハウ | メルカリエンジニアリング
こんにちは、メルカリMicroservices SREチームの藤本(@jimo1001)です。 私は現在、Embedded SRE として サーチインフラチームに入り活動しています。このサーチインフラチームは、Elasticsearchを使用した検索基盤を管理し、様々なマイクロサービスに検索機能を提供するチームです。この検索基盤は非常に巨大なプラットフォームで、メルカリ全体のマシンリソースの高い割合を占めており、メルカリの検索を支える非常に重要なものです。私の Embedded SRE としてのミッションは検索基盤の信頼性の向上と自動化を推進することです。 今回は、メルカリの検索基盤で利用している Elasticsearch における運用のノウハウを紹介したいと思います。 Elasticsearch とは Elasticsearch は、Elastic社が開発する Apache Lucen
Amazon: NOT OK - why we had to change Elastic licensing
Search and analytics, data ingestion, and visualization – all at your fingertips.
Alibaba Cloud Elasticsearch クラスターの仕様とストレージ容量の評価 - Elasticsearch - Alibaba Cloud ドキュメントセンター
Alibaba Cloud Elasticsearch クラスターを購入する前、または Alibaba Cloud Elasticsearch クラスターの構成をアップグレードまたはダウングレードする前に、このトピックで提供されている一般的な評価方法に従って、ノードの仕様、ノードのストレージ容量、ノード数など、クラスターに必要なリソース仕様とストレージ容量を初期評価できます。インデックスを作成する前、またはディスク使用量の大きな違いやノード間の CPU 負荷の不均衡などの問題が発生した場合は、シャードのストレージ容量とインデックスのシャード数を評価できます。 注意事項このトピックで提供されている評価方法は、実際のテスト結果とユーザーエクスペリエンスに基づいて得られたものです。ユーザーによって、データ構造、クエリの複雑さ、データ量、パフォーマンス、データの変更に関する要件が異なる場合がありま
Fluentdで各種ログをS3とElasticsearchにまとめる - BitArts Blog
各々のサーバの様々な場所に分散しているWebサーバやその他各種ログファイルをFluentdでまとめてAmazon S3にガシガシ保存。かつ、分析用にコピーを自前のElasticsearchにも保存します。保存したログはKibanaで手軽にビジュアライズ。 Fluentdはとてもシンプルな仕組みで理解しやすい。「ログを集積したい！」と感じたらサクッと導入できる超便利ツールです。 今回は集積用サーバを経由してElasticsearchとS3に保存する構成にします。 Elasticsearchのインストール Fluentdで集積したログは保存するだけならS3で良いのですが、手軽にビジュアライズしたいので、今回はKibanaを使えるようにElasticsearchにも保存するようにします。今回はCentOSに導入するので、公式のyumリポジトリからインストールします。 $ sudo rpm --i
国産の全文検索エンジンGroonga vs 世界的流行のElasticsearch - CreateField Blog
2014年4月21日は、第4回Elasticsearch勉強会ですね！ http://elasticsearch.doorkeeper.jp/events/8865 第4回Elasticsearch勉強会は、参加希望者が約200名の大反響なようです。 私は勉強会に参加できないので、C言語で書かれた国産の高速な全文検索エンジンGroongaと、Javaで書かれた世界的に勢いのあるElasticsearchについて性能の比較をしたいと思います。 注意事項 今回の検証では1台あたりの馬力を比較するためにサーバ1台での全文検索性能について比較しています。 私は、Groonga(Mroonga)の利用暦が約2年であるのに対し、Elasticsearchの利用暦は2日です。このため、Elasticsearchに対するチューニングの不備や公平な比較になっていない点が含まれている可能性があります。 Ela
Geo Location and Search
Search and analytics, data ingestion, and visualization – all at your fingertips.
Qbox.io
This service permanently shut down on August 5, 2022 after 10 years in business. Thanks to all who supported us over the years! If you still need help restoring your clusters, please download the Disaster Recovery Guide. Our team is dispersing as of tonight. Please follow our Twitter if you need to contact us. We thank you for your support and wish you the best. UPDATE August 1, 2022 Qbox will sta
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Solr vs Elasticsearch - the Feature Smackdown!