Elasticsearch実運用時の注意点とアンチパターンまとめ - サナギわさわさ.json
Elasticsearch実運用時に個人的に気をつけている点をまとめました。 自分でも整理できていない部分がありますので、間違っている点・追加した方が良い点などありましたら教えていただけると非常に助かります。 目次 目次 インデックス・スキーマ設定 スキーマを事前に定義しておく _allの使用は必要な時のみ行う 部分一致検索をしないstringフィールドにはnot_analyzedをつける doc_value:trueをつける できるだけエイリアスを使う 必要に応じてルーティングを行う 本体の設定 ヒープメモリを適切に設定する スワップしないように設定 スプリットブレイン対策を行う field data cacheに上限を与える 検索高速化 Warmerを登録する queryとfilterを使い分ける filterのキャッシュ設定を使い分ける 必要無いフィールドは検索の際に取得しない イン
はじめてのElasticsearchクラスタ
The First Elasticsearch Cluster 2018-07-25 JJUG ナイトセミナー「Elasticsearch特集」Read less
メディアコンテンツ向け記事検索DBとして使うElasticsearch
第25回のElasticsearch勉強会で発表した内容です。 Elasticsearchを全文検索を含む記事検索DBとして利用するにあたっての考慮事項などなど。
Elasticsearchの類義語辞書を動的に更新する方法の調査: codelibs/elasticsearch-analysis-synonym - Qiita
Elasticsearchの類義語辞書を動的に更新する方法の調査: codelibs/elasticsearch-analysis-synonymElasticsearch検索辞書類義語 概要 elasticsearchで類義語を扱うための機能であるsynonym token filterは、類義語辞書の内容の更新を検索に反映する場合、ノードの再起動か、インデックスのクローズ・オープンが必要となっています。 しかし、数十台からなるElasticsearchクラスタを運用している場合、クラスタの全ノードを再起動するとなると結構大変ですし、ましてやインデックスのクローズ・オープンはサービスの停止が必要になってしまうので、そう簡単にできるものでもないでしょう。。。 類義語辞書は日々更新されるものなので、できるだけ低コストで検索に反映したいものです。 というわけで、elasticsearchのsy
Elasticsearch キーワードサジェスト日本語のための設計
Google に代表される「キーワードサジェスト」機能を Elasticsearch を前提に日本語向けに設計。 よくある要件サイト内で過去に検索された有効なキーワードをサジェストしたい。入力されたテキストに関連性が高く、過去に検索された回数の多い順でサジェストしたい。最初に入力された言葉の後に空白を入力すると、最初の言葉と一緒に検索される複合語の候補サジェストしたい比較的シンプルな要件のように見えますが。。日本語を対象にしたサジェスト機能を実装する場合、入力途中の日本語のテキスト受けながら、ひらがな、カタカナ（半角・全角）、漢字、ローマ字（大文字・小文字・全角・半角）のコンビネーションを合わせて、関連性の高い言葉を素早くユーザーに提案しなければなりません。以外と難しいのです。。 Elasticsearch にも Completion Suggester と言うサジェスト向けの機能があるの
Elasticsearch Field Collapsing ｜ DevelopersIO
Elasticsearch 5.3 がリリースされましたね。今回はその New feature の中で、Field Collapsing について紹介したいと思います。 Field collapsing と言えば、Top hits aggregation が思い浮かぶ方も多いかと思いますが、今回リリースされた New Field collapsing の機能は Aggregation ではなく、検索結果そのものを折りたたむことができます。 検索系の機能名称では、Collapse Search / Field collapsing / Result grouping と言ったりしますが、一般的に日本語では何って呼ばれてるのだろう？折りたたみ検索？ 指定されたフィールドの値を使って、検索結果の重複を排除するような機能です。 ユースケース例 例えば、EC サイトの商品検索で、カラーやサイズなどの
KibanaのTileMapにOpenStreetMapを利用する | DevelopersIO
こんにちは、藤本です。 先日、同僚にKibanaのTileMapでもっと詳細なマップが表示できないか聞かれたので調べてみました。 MapQuestの利用不可 衝撃だったのですが、先日 Kibana の TileMap へアクセスしたところ、↑のような画面表示となっていました。同じ衝撃を受けた方も多いかと思います。 今まで Kibana は MapQuest が提供するTileサービスのAPIを利用していましたが、2016年7月11日を持って、MapQuest が API の提供を終了しました。それにより Kibana 4.5.2、4.1.9 以前の Kibana は TileMap にて地図を表示できなくなっています。 Elastic社はこの問題に対処するためにElasticアプリケーションのみで利用可能な Tileサービスの提供を開始し、4.5.3、4.1.10 からそちらを利用するよう
Logstash + Elasticsearch連携時のLogstash confメモ（jsonからconvert, filter, dateなど） - 平日インプット週末アウトプットぶろぐ
LogstashからElasticsearchへデータを送信する仕組みを試しました。Logstashのconfの参考になれば幸い。 json側のフィールドをElasticsearchのdate型にconvertしたり、文字列を数値にconvertしたりしました。 ログはjsonフォーマット {"reportDate":"2016-11-08 00:00:00","reportType":"report","gender":"female","ageBracket":"18-24","value":"269"} Logstashのconfファイル input { file { path => "/path_to_log_file" codec => "json" } } filter { date { match => ["reportDate", "YYYY-MM-dd HH:mm:ss"
様々なファイルをデータソースにElasticsearchへデータ投入する | DevelopersIO
はじめに 藤本です。 Elasticsearchにデータ投入する方法を調べる機会がありましたので、今回はいくつかのファイルをデータソースにElasticsearchへデータ投入する方法をご紹介します。 概要 Elasticsearchはリアルタイムデータ分析、ログ解析、全文検索など様々なユースケースで活用することができます。例えば、Excelでデータ蓄積して、グラフ化・集計を行っているのであれば、Elasticsearchにデータ投入して、Kibanaで可視化することができます。ログをSyslogで集約して、grepやawkを駆使してパフォーマンス解析しているのであれば、logstashやfluentdなどでメッセージ解析し、Elasticsearchに集約、Kibanaで可視化することができます。ブログサイトの記事をDBに投入していてアプリケーションによって検索処理ロジックを実装している
位置情報付きツイートをElasticsearch,Kibanaで可視化して、ポケモンGOを攻略！ - Taste of Tech Topics
こんにちは@shin0higuchiです 世間に一大ブームを起こしたポケモンGOですが、みなさんやってますか？ 新機能が追加されたり、第二世代のポケモンが登場するという噂もあり、 さらに流行るかもしれないですね。 さて、今回は位置情報付きのツイートを地図上にマッピングして可視化してみます。 キーワードで絞り込むことで、そのキーワードを含むツイートが「どこで」「どのくらい」つぶやかれているかを知ることができます。 例えば「ピカチュウ」と検索すればポケモンGOでピカチュウが出現する場所が簡単に特定できるかもしれません。 今回行うのは、logstashで取得したツイートをelasticsearchに入れて、それをkibanaで可視化するという流れです。 それでは実際にやってみます。 1.logstashでツイートを取得する logstashのinputプラグインとして用意されているtwitter
ElasticsearchとPython使えば生活圏推定を簡単にできる話 - Qiita
概要 なんか書いてみようということで、Elasticsearchに行動履歴の位置情報を登録すれば、いい感じに利用できる上に、いい感じに可視化もできるという話をします。 前提知識 今回Elasticsearchを利用するので、簡単に紹介。 ElasticsearchはApache Solrとよく比較される全文検索エンジンの一つです。スキーマフリーですべての入出力がREST＆JSONになっています。またJavaで実装されています。 詳しくはElasticsearchの紹介と特徴 インストールはyumでもbrewでも簡単に出来ます。利用したい環境に合わせて調べてみてください。 ちなみにElasticsearchのGUIプラグインのelasticsearch-headが便利なので合わせて入れておくと良いです。 Elasticsearchの設定 Elasticsearchを起動できたら、利用するin
Movesのログを1年分 elasticsearch に突っ込んで kibana の地図で見てみた - isseium's blog
今日は、elasticsearch と kibana の勉強がてら、なにかしようと思って qiita.com を参考に、自分が2015年行ったところを地図でビジュアライズしようとした。 やりたかったこと 滞在時間の多い地点の色を濃くしたヒートマップをみたかった。こんなイメージ。 ※ これも実際に出力した地図だけど、「滞在時間の多い地点」ではなくて「よく行っている地点」の色が濃い。結果からいうと、「滞在時間の多い地点の色を濃くしたヒートマップ」はできなかったです... 出来る方法があれば教えてください。 やったこと やったことのだいたいの流れは次のとおり。 万歩計アプリの moves から移動情報をエクスポート サードパーティ製のツールより公式のが使いやすかった https://accounts.moves-app.com/export 今回は 2015年 のデータのみを使う elastic
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - johtani/analyze-api-ui-plugin: Kibana app plugin for _analyze API
https://developer-collaboration.com/2018/08/12/elasticsearch-6-2/
https://developer-collaboration.com/2019/01/30/elasticsearch-kuro-dictionary-synonym/
PHP Conference Sendai 2019 presentation slides - Speaker Deck
Geohash grid aggregation | Elasticsearch Guide [8.11] | Elastic
kibana uses openStreetMap and Gaode map with higher zoom level_kibana openstreetmap-CSDN博客
GitHub - dlumbrer/kbn_network: Network Plugin for Kibana
GitHub - nreese/enhanced_tilemap: Kibana mapping visualization