Kibana+ElasticSearchで検索した時Courier Fetch: X of Y shards failedとエラーが出てしまったときの対処 - QiitaDeleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
KibanaのスクリプトフィールドでPainlessを使用する
スクリプトフィールドの仕組みElasticsearchでは、すべてのリクエストでスクリプトフィールドを指定できます。Kibanaはこの点について改善を進め、［管理］セクションで1度スクリプトフィールドを定義すると、その後はUIの複数の場所でそのフィールドを使用できるようになりました。Kibanaでは、スクリプトフィールドは、.kibanaインデックスの他の構成と一緒に保存されます。この構成はKibana固有の構成であり、KibanaのスクリプトフィールドはElasticsearchのAPIユーザーには公開されません。 Kibanaでスクリプトフィールドを定義するときには、スクリプト言語を選択できます。動的スクリプトが有効なElasticsearchノードにインストールされているすべての言語の中から選ぶことができます。5.0のデフォルト言語は「expression」と「painless」です
位置情報付きツイートをElasticsearch,Kibanaで可視化して、ポケモンGOを攻略！ - Taste of Tech Topics
こんにちは@shin0higuchiです 世間に一大ブームを起こしたポケモンGOですが、みなさんやってますか？ 新機能が追加されたり、第二世代のポケモンが登場するという噂もあり、 さらに流行るかもしれないですね。 さて、今回は位置情報付きのツイートを地図上にマッピングして可視化してみます。 キーワードで絞り込むことで、そのキーワードを含むツイートが「どこで」「どのくらい」つぶやかれているかを知ることができます。 例えば「ピカチュウ」と検索すればポケモンGOでピカチュウが出現する場所が簡単に特定できるかもしれません。 今回行うのは、logstashで取得したツイートをelasticsearchに入れて、それをkibanaで可視化するという流れです。 それでは実際にやってみます。 1.logstashでツイートを取得する logstashのinputプラグインとして用意されているtwitter
ES5で形態素解析した結果がaggrigationできない。
初めてここで質問させていただきます。 悩みはタイトル通りなのですが、これまでkibana4やElasticSearch4.xで実現できていたことが、ver5でできずに困っております。 実現したいこと kibanaのvisualizeで、Aggregation -> Termで形態素解析結果のフィールドを選択し、集計できるようにしたい。 以下のmapping例で、text.jaを選択できるようにしたい kuromojiで形態素解析する場合としない場合の両方を利用したいので、Multi Fieldを使いたい v5でもこんな感じのことがしたい http://qiita.com/harukasan/items/4ec517d8d96f557367e1 いろいろelasticsearchのmappingをいじったのですが、、、 形態素解析自体はできているようなのですが、現時点では、kibana5から
kibana(ELK)でユーザーやグループ毎に見せる/見せないをコントロールする。 - Qiita
概要 いわゆるRBACの機能をKibana/Elasticsearchに実装する。 各サーバからfluentdなどを使い、各ログをログサーバに送り、 ログサーバで適切な形でDB(Elasticsearch)に保存、 Kibanaで可視化というのは非常に多くの会社で実装していると思うが、 Kibanaはデフォルトでは現状、認証・認可やセキュリティ対策のような機能は実装されていない。 その為、Shieldなど有償のプラグインを使って補う事が一般的だが、 今回は無料のプラグインであるsearch-guardを使ってポリシーベースで ユーザーやグループに見せる/見せないをコントロールする。 search-guardとは Kibana/Elasticsearchのセキュリティーを強化するツール。 この機能を使うことでRBACはもちろんLDAP認証も可能になる ただし、2017年7月時点で日本での知名
Timelion: Kibanaの時系列コンポーザ
Kibanaのデモを作成しながら、「Kibanaで時系列データをもっと活用できたらいいのに」と感じていました。同時に、Kibanaの新しい式構文を考えながら、「クエリや変換や視覚化を1か所で、1行で記述する方法があればいいのに」と思っていました。翌日、大西洋を横断する飛行機の中であるプランを思い付きました。機上の1人きりの極小ハッカソンで、時系列と式の両方のかゆいところに手が届く、ある実験を考え出したのです。 ヒューストンに着陸するまでに、ある構文と網目状のグラフ、そしていくつかの簡単な関数を書き出していました。さらに数時間後、フェニックスに到着したときには、今まで思いもよらなかった疑問の答えを見つけていたのです。 各ユーザーがアクセスするページ数が経時的にどのように変化しているか?今週の金曜日と先週の金曜日にどのような違いがあるか?今日、日本の人口の何％が自分のサイトにアクセスしたか?S
Kibana+Elasticsearchで文字列の完全一致と部分一致検索の両方を実現する - Qiita
{ "@timestamp": "2013-12-17T10:12:40+09:00", "remote_addr": "203.0.113.10", "country_code": "JP", "request_uri": "/index.php", "user_agent": "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)" } すると、いまアクセスされている国の比率とかを見たければ、country_codeを指定してあげれば次の様なグラフが書けて非常に便利だ。 しかし、user_agentを指定するとつぎのようになったりして、うまくいかないことがある。 これはKibanaが空気を読んで要素解析してしまったせいである。できれば完全一致で見たい。 Mapping Templateを使う El
Impulse（異常検知ソリューション） | ブレインズテクノロジー株式会社
「Impulse(インパルス)」は機械学習技術の実用化を目的に、2014年市場に先駆けてリリースされ、数多くのお客様の「現場で鍛え上げられた」異常検知ソリューションです。 企業活動にかかわる、複雑で膨大なセンサーや音声や画像、動画などのデータを収集・可視化する基本機能に加え、従来の閾値ベースの管理では発見できない障害や故障予兆の検知、不良品の検出、作業工程の確認・分析、要因の追究など、これまで対応困難であった業務課題に対し、機械学習を武器に新たなアプローチで現実解を導きます。 高度な分析技術を持ったデータサイエンティストだけでなく、より幅広いユーザーが利用できるプラットフォームを目指し、機械学習技術を容易に導入・運用するためのアーキテクチャや機能が備わっています。最大の特徴でもある、オートモデリング（特許第6315528号※）は、複雑で膨大なデータの特性を自動的に分類し、標準アルゴリズムを
11_11_FromNTT.indd
NTT技術ジャーナル 2014.11 48 ビッグデータ分析の課題 ビッグデータを活用したビジネスの成功事例が数多く報 告されており， 多くの企業が 「自社のビジネスにビッグデー タを活用できないか」と検討を始めています．しかし，検 討を始めてみると「蓄積したデータを分析してみないと， 得られる効果が明確にならない」 「効果を明確化できない 段階で投資判断することは難しい」という課題を抱えてい るのではないでしょうか． ビッグデータ分析で価値のある知見を得るためには，長 期間にわたり蓄積された大量のデータを分析する必要があ ります．そのため，分析できるデータを蓄積して，得られ る効果を判断するまでには長い時間を要してしまいます． また，ビッグデータ分析は多種 ・ 大量のデータを蓄積す るために大規模な設備が必要であり，このような設備を自 社で構築する場合には，大きな投資が必要となります．さ
Kibana4をKibana3みたいにHTMLだけで使うためのメモ - Qiita
まえがき 前の記事でKibana4をソースからビルドする手順を紹介しましたが、そこでビルドしたソース（とElasticsearchの設定）に手を加えるだけで、bin/kibanaを使わなくてもKibana4を利用できることがわかりました。 これができれば、慣れ親しんだApacheやnginxでアクセス制限ができたりしそうなので、今回はその手順を紹介します。 前提 前の記事で紹介した手順に従って、Kibana4をソースからビルドしてください。 ビルドが済んでいて、Kibana4のプロジェクトディレクトリー内にbuild/srcができていることを前提とします。Elasticsearchの起動もお忘れなく。 動作確認にpythonのSimpleHTTPServerを使用するため、Pythonが入っていることが望ましいです。 もし、Pythonがインストールされていなくても、Apacheやngin
データ可視化に便利なkibanaは、elasticsearchのプラグインとして構成すると便利 #Fluentd - Y-Ken Studio
Fluentdなどから収集したメッセージをelasticsearchへ格納してKibanaで可視化するソリューションは素晴らしく、とても人気があります。次の画像のように見栄えが良いことも特徴です。 このダッシュボードアプリであるKibanaはJavaScriptアプリケーションです。そのため静的ファイルを配置すればどこでも動きます。 しかしそれだけのためにApacheやNginxなどのWEBサーバを新たに起ち上げるのは手間ですよね。 実は新たに起ち上げない方法もあるのです。こんな時に役立つTipsを紹介します。 elasticsearchのsiteプラグイン siteプラグインは、ウェブベースのインターフェースを提供するものです。 elasticsearchの挙動へ変更を加えるものではないため、サービス停止(再起動)を行わずにインストール・アップデート・アンインストールができます。 モニタ
Glaylog2によるログ解析サーバーの構築｜スペース・アイ株式会社
■ Graylog2とは？ いきなりインパクトのあるロゴですが、 Graylog2はオープンソースのログ監視・解析ソフトウェアでブラウザから操作する事ができます。 またsyslogだけでなく、HTTP通信によってアプリケーションログを監視する事も可能です。 NoSQLのMongoDBと全文検索のElasticsearchをバックエンドに用いています。 このソフトウェアの大きな特徴は、TCP514/UDP514番ポートで待ち受けを行うため、 syslogサーバーをログ監視サーバーとして使う事ができます。 最低2GBのメモリが必要、CPU負荷もあり（syslogサーバーと比べて）サーバーの負荷が高いのが難点です。 ■ ファイアウォールの設定 Graylog2はTCP3000を利用しますので、iptablesで予め解放をしておきます。 vi /etc/sysconfig/iptables （以下
楽しい可視化 ： elasticsearchとSpark Streamingの出会い | 株式会社NTTデータ先端技術
0. ログやデータを取得した後は？ ログやデータの分析には、様々なアプローチが考えられるが、Apache Solrやelasticsearchといった全文検索エンジン製品にデータを蓄積し、その機能を用いて検索・集計・分析を行う方法がある。その際、データをそのまま蓄積するのではなく、各ツイート・各行に属性を付与（エンリッチメント）することにより、分析の幅は大きく広がる。 全文検索エンジンへのデータの投入では、Flume-ngやfluentdといったデータ収集製品を利用する実例が多い。しかし、リアルタイムにデータに対してエンリッチメントの前処理を行おうとした場合、処理が複雑になるにつれ、単体サーバーで動作するFlume-ngやfluentdでは処理能力が頭打ちになってくる。そこで、登場するのが、リアルタイムに大量のデータを処理することができるストリーミング処理系のビッグデータ関連技術である。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Allow users to specify display names for fields · Issue #1896 · elastic/kibana
ERR_TOO_MANY_REDIRECTS · Issue #9226 · elastic/kibana
GitHub - floragunncom/search-guard: Search Guard Plugin - Security for Elasticsearch (no PRs, go to gitlab)
GitHub - elasticfence/kibana-auth-plugin: Authentication & Login generic plugin for Kibana
kibanaで使えるlucene query - Qiita
Home