Kibana+ElasticSearchで検索した時Courier Fetch: X of Y shards failedとエラーが出てしまったときの対処ElasticsearchKibana Kibana+ElasticSearchで検索した時、Courier Fetch: X of Y shards failedとエラーが出てしまったときの対処 結論から言うとおかしなインデックスを削除したら直りました。 1. インデックスを確認 curl localhost:9200/_cat/shards?v | awk '{ print $1 }' | sort | uniq index .kibana logstash-2018.09.12 logstash-2018.09.13 logstash-2018.09.14 logstash-2018.09.15 logstash-2018.09.1
スクリプトフィールドの例このセクションでは、一般的なシナリオで、Kibanaで使用されるLucene式とPainlessスクリプトフィールドの例をいくつか取り上げます。前述のように、これらの例は、Kibana基本操作チュートリアルのデータセットを基に作成されました。そして、前のバージョンでは、特定のタイプのスクリプトフィールドでフィルターと並べ替えに関連する問題がいくつか確認されているため、ElasticsearchとKibana 5.1.1を使用していることが前提となっています。 Elasticsearch 5.0ではLucene式とPainlessがデフォルトで有効化されているため、ほとんどの場合、スクリプトフィールドはそのままで動作します。ただし、唯一の例外として、フィールドを正規表現に基づいて解析する必要があるスクリプトがあります。このようなスクリプトでは、elasticsearc
こんにちは@shin0higuchiです 世間に一大ブームを起こしたポケモンGOですが、みなさんやってますか? 新機能が追加されたり、第二世代のポケモンが登場するという噂もあり、 さらに流行るかもしれないですね。 さて、今回は位置情報付きのツイートを地図上にマッピングして可視化してみます。 キーワードで絞り込むことで、そのキーワードを含むツイートが「どこで」「どのくらい」つぶやかれているかを知ることができます。 例えば「ピカチュウ」と検索すればポケモンGOでピカチュウが出現する場所が簡単に特定できるかもしれません。 今回行うのは、logstashで取得したツイートをelasticsearchに入れて、それをkibanaで可視化するという流れです。 それでは実際にやってみます。 1.logstashでツイートを取得する logstashのinputプラグインとして用意されているtwitter
初めてここで質問させていただきます。 悩みはタイトル通りなのですが、これまでkibana4やElasticSearch4.xで実現できていたことが、ver5でできずに困っております。 実現したいこと kibanaのvisualizeで、Aggregation -> Termで形態素解析結果のフィールドを選択し、集計できるようにしたい。 以下のmapping例で、text.jaを選択できるようにしたい kuromojiで形態素解析する場合としない場合の両方を利用したいので、Multi Fieldを使いたい v5でもこんな感じのことがしたい http://qiita.com/harukasan/items/4ec517d8d96f557367e1 いろいろelasticsearchのmappingをいじったのですが、、、 形態素解析自体はできているようなのですが、現時点では、kibana5から
概要 いわゆるRBACの機能をKibana/Elasticsearchに実装する。 各サーバからfluentdなどを使い、各ログをログサーバに送り、 ログサーバで適切な形でDB(Elasticsearch)に保存、 Kibanaで可視化というのは非常に多くの会社で実装していると思うが、 Kibanaはデフォルトでは現状、認証・認可やセキュリティ対策のような機能は実装されていない。 その為、Shieldなど有償のプラグインを使って補う事が一般的だが、 今回は無料のプラグインであるsearch-guardを使ってポリシーベースで ユーザーやグループに見せる/見せないをコントロールする。 search-guardとは Kibana/Elasticsearchのセキュリティーを強化するツール。 この機能を使うことでRBACはもちろんLDAP認証も可能になる ただし、2017年7月時点で日本での知名
Kibanaのデモを作成しながら、「Kibanaで時系列データをもっと活用できたらいいのに」と感じていました。同時に、Kibanaの新しい式構文を考えながら、「クエリや変換や視覚化を1か所で、1行で記述する方法があればいいのに」と思っていました。翌日、大西洋を横断する飛行機の中であるプランを思い付きました。機上の1人きりの極小ハッカソンで、時系列と式の両方のかゆいところに手が届く、ある実験を考え出したのです。 ヒューストンに着陸するまでに、ある構文と網目状のグラフ、そしていくつかの簡単な関数を書き出していました。さらに数時間後、フェニックスに到着したときには、今まで思いもよらなかった疑問の答えを見つけていたのです。 各ユーザーがアクセスするページ数が経時的にどのように変化しているか?今週の金曜日と先週の金曜日にどのような違いがあるか?今日、日本の人口の何%が自分のサイトにアクセスしたか?S
先日 Elasticsearch を 1.7.5 から 2.3.3 に、Kibana を 4.1.2 から 4.5.1 にアップデートしました。 アップデート自体はそれなりにハマったものの、なんとか対処できました。 ただ、Kibana のメモリ使用量が増え続け、さながらメモリリークのよう でした。 こちらの記事の方法で解決できたので、結果とともに記録します。 ver4.2以降のkibanaが突然死する問題について - mnatsu31’s blog 環境# OS: Ubuntu-14.04 LTS Memory: 2GB Elasticsearch: 2.3.3 Kibana: 4.5.1 ※ Elasticsearch と Kibana はともに公式パッケージを使用。 Repositories|Elasticsearch Reference [2.3]|Elastic Getting K
Elasticsearchはデフォルトで文字列を要素解析して保存する。これによって部分一致検索ができるようになるのだが、完全一致検索が難しくなる。 便利なTermsがうまくいかない KibanaにはTermsという値の上位10件とかを表示してくれるパネルがある。次のようなデータを入れているとする。 { "@timestamp": "2013-12-17T10:12:40+09:00", "remote_addr": "203.0.113.10", "country_code": "JP", "request_uri": "/index.php", "user_agent": "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)" } すると、いまアクセスされている国の比率とかを見たければ、count
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く