あなたの知らないElasticsearch設定トップ5 - Taste of Tech Topics
こんにちは、 @snuffkin です。 こちらはElastic stack Advent Calendarの5日目の記事となります。 qiita.com 当社では、Elastic StackとX-Packの導入支援サービスを行っていますが、様々な事例に触れるにつれ、「この設定を知っていれば。。。」と思うことがあります。 Elastic Stackの設定が一覧化された資料は存在しないため、詳しく知るには公式ドキュメントをちゃんと読む必要があります。 自分の周囲に話を聞いてもあまり知られていなかったり、ネットで調べてもあまり載っていない設定もあったります。 そこで、重要な設定だけれど意外と知られていないものを中心に、5つほどご紹介します。 Elastic Stackのバージョンは5.6をベースに記述していますが、最近のバージョンであればあまり変わらないと思います。 1. シャード設計 インデ
Elasticsearch5系で、シャードunassignedによるstatus redを強引に修復する方法 - Gunosy Tech Blog
はじめまして、Gunosyでサーバーサイドエンジニアをしているmanoと申します。 最近ハマっていることは、Huluで安室奈美恵さんの特番をみることです。引退するなんて・・・本当に惜しいですね。 私は現在ニュースパスというアプリのサーバーサイド開発を担当しています。 ニュースパスでは、記事検索機能等でElasticsearchを使っています。運用周りではcuratorを使っています。 最近そのあたりでハマってしまったことがあったので、今回はそれについて書こうと思います。 起こったこと 開発環境にて、Elasticsearchのノードインスタンスをシャットダウンしたときに、いくつかのシャードがunassignedになりステータスもredとなってしまうということがありました。 それでも検索機能は生きてはいたのですが、それによりレスポンスタイムが大幅に増加してしまっていました。 下の画像は当時の
リクルート全社検索基盤のアーキテクチャ、採用技術、開発体制はどうなっているのか
リクルート全社検索基盤のアーキテクチャ、採用技術、開発体制はどうなっているのか：Elasticsearch＋Hadoopベースの大規模検索基盤大解剖（1）（1/2 ページ） リクルートの事例を基に、大規模BtoCサービスに求められる検索基盤はどう構築されるものなのか、どんな技術が採用されているのか、運用はどうなっているのかなどについて解説する連載。初回は全体的なアーキテクチャ、採用技術、開発体制について。 連載目次 大規模BtoCサービスで求められる検索基盤は、どうあるべきなのか カスタマー（消費者）が求めるものが日々変わっていく現在において、BtoCの検索基盤はどうあるべきなのでしょうか。 例えば、リクルートで使われている検索基盤の「Qass（Query analyze search system）」は単に全文検索機能を提供するのではなく、以下を軸としています。 サービスごとに最適化され
自分流Elasticsearch入門 - $shibayu36->blog;
【2016/09/10追記】 勉強しなおして、Elasticsearchの知識についてさらにまとめた記事を書いたので、そちらを参照してもらうと良さそうです。 blog.shibayu36.org 最近Elasticsearchの勉強をした。ただ、入門のためどのような資料が適しているかを知るのが大変だった。そこでどのように勉強したかについてメモをしておく。少しまとめエントリー的なノリになりそう。 Elasticsearchの概念を知る 全文検索技術の基本を知る Elasticsearchのドキュメントのたどり方を知る の順に学習を進めていった。 Elasticsearchの概念を知る Elasticsearchの学習を始めようとした時に、まずは基本からということで以下の本を読んでいた。 高速スケーラブル検索エンジン ElasticSearch Server (アスキー書籍) 作者:Ｒａｆａｌ
スマートニュースの世界進出を支えるログ解析基盤 #jawsdays #tech
スマートニュースは昨年の 10/1 に米国版をローンチするにあたり、ログ解析基盤のリニューアルを行いました。日本に加えて米国やその他の国が入ってくることにより、単なるユーザ数の増加に加え、OS x 国 x タイムゾーン x 多種多様なメトリクスのような集計軸が増えることで、ログの前処理、集計、可視化に様…
Elasticsearch を使った位置情報検索 - クックパッド開発者ブログ
ホリデー事業室の内藤です。 ホリデー事業室は昨年の4月に発足した部署で、Holiday（https://haveagood.holiday）という新規サービスの開発を行っています。 Holiday とは、クックパッドが長年取り組んでいる「毎日の料理を楽しみにする」分野からは少しだけ離れ、「いつもの休日を楽しくすることで人生を豊かにする」ことを目指したサービスです。 例えばこちらのおでかけプランのように、「〇〇に行くならここも行ったほうがいいよ」や「〇〇を散策するならこのコースだよね」など、おでかけのレシピを投稿したり探すことができるようになっています。 今回は、全文検索エンジン Elasticsearch を使って、全文検索と位置情報を絡めた検索についてお話したいと思います。 本稿で説明する内容は、実際に Holiday の中でも応用を加えた形で使われています。 Holiday では、複数
Fluentd + Elasticsearch +Kibanaを導入したので手順をメモ - まっしろけっけ
導入経緯 「serverのログ見るときに複数のserverにsshで入って見るのとかつらめ」 という理由からリアルタイムで集められたら幸せになれるのではと考え、 fluentdを使ってみようとい結論に至った訳です。 なぜfluentdにしたのか 他にもflume(良く知らない)とかあるのになぜfluentdにしたかと言うと下記の理由から Rubyで実装されているのでカスタマイズとかプラグイン作る場合も作りやすいかな gemとして提供されているのでRubyプロジェクトでは導入しやすいかな プラグインがいっぱいある RubyKaigiでそのっつさんの下記のお話を聞いていたりで使ってみたかったとかそんな感じ Fluentd Hacking Guide at RubyKaigi 2014 リアルタイムログ解析もしてみる Fluentdを使うならElasticserchとKibanaも導入してリアル
ElasticSearch Server — Present Note 1.0 documentation
elasticsearch.yml¶ サーバーのデフォルトの設定値を設定するためのファイル 設定の一部は実行時に変更でき、ファイルの値と異なるかもしれない cluster.nameとnode.nameの値は実行時に変更できない
いまさら fluentdをはじめてみた Apache + Elasticsearch + Kibana なにそれ美味しいの？、その５ - Qiita
いまさら fluentdをはじめてみた Apache + Elasticsearch + Kibana なにそれ美味しいの？、その５FluentdElasticsearchkibana3CentOS6.5 いまさら fluentd はじめてみる５（完結編） 紆余曲折しましたが、やっと「もう何番煎じだ？」ぐらい同じレベルでインストールできました。いやはやインストールしたバージョンがbugあったおかげ？で勉強色々しました。これでようやっとスタートラインにたてましたｗ。で、本題「Apache + fluentd + Elasticsearch + Kibana」 ということで（本当に何番煎じ？）完結編です。 fluentd + Elasticsearch + Kibanaでデータ集計サーバを作る File descriptor, Kernel パラメータの設定 vm を２つ用意します。これは単に
15分で作る、Logstash＋Elasticsearchによるログ収集・解析環境 | さくらのナレッジ
たとえば、inputに「stdin」、outputに「file」というプラグインを使用すれば、標準入力からイベントを受け取り、それをファイルに出力することが可能となる。そしてLogstashが注目されている理由の1つのが、出力先として「Elasticsearch」が利用できる点だ。 検索機能に優れた分散型データベース「Elasticsearch」 Elasticsearchはオープンソースで開発されている分散型データベースシステムだ（図2）。「Elastic」という名前のため勘違いされやすいが、米Amazonが提供しているクラウドサービス「Amazon Elastic Compute Cloud（EC2）」とは無関係だ。 図2 ElasticsearchのWebサイト ElasticsearchはJavaで実装されており、またデータ検索エンジンとして「Lucene」が組み込まれているのが特
データ可視化に便利なkibanaは、elasticsearchのプラグインとして構成すると便利 #Fluentd - Y-Ken Studio
Fluentdなどから収集したメッセージをelasticsearchへ格納してKibanaで可視化するソリューションは素晴らしく、とても人気があります。次の画像のように見栄えが良いことも特徴です。 このダッシュボードアプリであるKibanaはJavaScriptアプリケーションです。そのため静的ファイルを配置すればどこでも動きます。 しかしそれだけのためにApacheやNginxなどのWEBサーバを新たに起ち上げるのは手間ですよね。 実は新たに起ち上げない方法もあるのです。こんな時に役立つTipsを紹介します。 elasticsearchのsiteプラグイン siteプラグインは、ウェブベースのインターフェースを提供するものです。 elasticsearchの挙動へ変更を加えるものではないため、サービス停止(再起動)を行わずにインストール・アップデート・アンインストールができます。 モニタ
Elasticsearchで色々やったことをメモ - 記憶永続化用のメモブログ
大量のデータをElasticsearchで扱ったときに色々と起きた問題の対処をメモ(雑) Elasticsearch v1.0.1 Amazon EC2 JDK 1.7.0_21 問題 データ量が多くなってから検索系のクエリを投げるとElasticsearchが停止する indexを日付別に切っているが、結構な日数分を集計するクエリを投げるとOOMになってしまった。 原因(多分) kibanaのクエリが結構エグい 色々なグラフを1画面に乗せておくと１回のリロードで大量のクエリがElasticsearchに投げられていた。 根本解決にはならないけど、kibanaの1画面に乗せる画面数を減らした フィールドキャッシュの上限が無制限だった 設定ファイルで指定してあげないとキャッシュがひたすら溜まって行く模様だった。 indices.fielddata.cache.expire indices.f
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Elastic APM Java Agent Beta Released
Amazon OpenSearch サービス
http://blog.inouetakuya.info/entry/2014/11/24/203210