皆さんこんにちは@tereka114です。 昨日、Elastic Stackの6.4がリリースされました。 6.4で追加された機能のうち、面白いと思う機能をご紹介します。 今回のリリースは、開発者に優しい機能追加が多いように見えます。 データ準備 6.4からElasticsearch、Kibanaのサンプルを画面から素早く準備できます。 従来のElasticsearchでは、機能を試すためのデータを準備しなければならず、手間でした。 これがほんのわずかな時間で準備できるのは魅力的です。実際に試したので手順を載せます。 まずは、サンプルデータが準備されている画面に「Load a data set and a Kibana dashboard」をクリックして移動します。 次にflight dataをロードします。Addをクリックし、しばらく待つとロードが完了します。 Discoverを見て、デ

こんにちは、 @muraken720 です。 こちらはElastic stack Advent Calendarの9日目の記事となります。 qiita.com Elasticsearchを構築・運用する際に頻繁に使うことになる cat APIsについて、その使い方をちゃんと知ってほしいとプロジェクトのメンバに思うことが増えてきましたので、アドベントカレンダーというイベントの力を借りてまとめておこう思います。 ことの起こり（スタート地点） メンバに「cat indices でインデックス情報とって後でみせて」とお願いしたところ、次のような情報をもらいました。 yellow open .monitoring-es-6-2017.12.09 EjmyMwfUR9GC7NpGE9J-Ew 1 1 339106 5678 226.7mb 226.7mb green open report_attac

こんにちは、イガラシです。 Acroquestでは社内勉強会がいくつかありますが、 その中の一つに、具体的に実践した内容を発表する会があります。 その会で先日、プロジェクトで取り組んだ「Packetbeatのカスタマイズ」を発表したのですが、 マニアックな内容にも関わらず、思いのほか好評だったので、ブログ記事として書きたいと思います。 Packetbeatのカスタマイズ、といっても公式に書いてある新しいプロトコルに対応する、というものではありません。 あるカプセル化されたパケットの中身を解析するため、Packetbeatが対応していないカプセル化プロトコルに対応しよう。 という少し（かなり）ニッチな対応を行いました。 今回対応したカプセル化プロトコルは、「NVGRE」になります。 パケットの解析処理 Packetbeatがキャプチャしたパケットを解析する処理は、gopacketによって行わ

テクノロジー Elasticsearch、Logstash、Kibana、Kuromojiでタグクラウドを作る - Taste of Tech Topics

こんにちは！ @tereka114です。 最近、データの中から特異点や異常な箇所を発見したいニーズが高まっています。 そんななか、先日、Elastic社が行動分析技術の大手プロバイダPrelertを買収したとのニュースがありました。 ちなみにPrelert社とは異常検知を自動化するため、データの知識が不要なアプリケーションをエンドユーザーに提供していた企業です。 Prelertのサイトを確認すると、Elasticsearchに入れたデータに対して異常検知することができそうです。 これは面白そう！　ということで、Prelertを使って異常検知を行ってみました。 今回は、次の流れで説明していきます。 Prelertとは Prelertのインストール 公式サイトからのダウンロード インストール 起動確認 実際に異常検知をやってみる。 データ投入 マッピング定義 Logstashを使ったデータ投入

Hello world, @cero_t です。 少し肌寒い日が続きますが、皆さんいかがお過ごしでしょうか。 寒いのは決して僕のせいではないからね、そう周りに言い聞かせながら生き抜く日々です。 さて、 ついにElastic Stack 5.0.0のGA版がリリースされました！！ https://www.elastic.co/jp/blog/elastic-stack-5-0-0-released 既にリリースされたalpha版やRC版などを触っていますが、2.x系から新機能が追加されただけでなく、性能や安定性、またユーザビリティが向上している体感があり、積極的にこの新版を使っていきたいと思っているところです。 Elastic Stack 5.0.0の新機能 公式ブログでもいくつか紹介されていますが、2.xから5.0ではピックアップしきれないほどの変更点があります。私なりに重要だと思っている

こんにちは @shin0higuchiです！ 先日、恵比寿にて開催されたData Analytics Showcaseにて、私と弊社の@tereka114が登壇してきました。 www.db-tech-showcase.com それぞれ、次のテーマで発表しました。 @shin0higuchi：ビッグデータを高速に検索・分析する「Elasticsearch」～新プラグイン「Graph」を用いた販売データの関連分析～ @tereka114：デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判断につながる可視化の実践 ビッグデータを高速に検索・分析する「Elasticsearch」～新プラグイン「Graph」を用いた販売データの関連分析～ 私(@shin0higuchi)は、人気急上昇中の全文検索エンジンElasticsearchの機能を利用したデータ分析に

こんにちは@shin0higuchiです 世間に一大ブームを起こしたポケモンGOですが、みなさんやってますか？ 新機能が追加されたり、第二世代のポケモンが登場するという噂もあり、 さらに流行るかもしれないですね。 さて、今回は位置情報付きのツイートを地図上にマッピングして可視化してみます。 キーワードで絞り込むことで、そのキーワードを含むツイートが「どこで」「どのくらい」つぶやかれているかを知ることができます。 例えば「ピカチュウ」と検索すればポケモンGOでピカチュウが出現する場所が簡単に特定できるかもしれません。 今回行うのは、logstashで取得したツイートをelasticsearchに入れて、それをkibanaで可視化するという流れです。 それでは実際にやってみます。 1.logstashでツイートを取得する logstashのinputプラグインとして用意されているtwitter

最近めっきり暑くなりましたが、皆さんいかがお過ごしでしょうか。 なにげに日傘男子の @cero_t です。 さて、先日、Elastic Stack 5.0.0-alpha4がリリースされました。 なかなか良いペースでalphaもバージョンが上がっていて、この調子ならβ版のリリースも近いんじゃないのかなと思います。 さて、今日はそのalpha-4の新機能を紹介します。 Elastic Stack 5.0.0-alpha4の新機能 まず簡単にalpha4の主な新機能を紹介します。 https://www.elastic.co/jp/blog/elastic-stack-release-5-0-0-alpha-4 ElasticsearchのJavaクライアントに、HTTP/REST（9200番ポートのほう）対応版が追加されました。 KibanaでCSVファイルのインポートができるようになりまし

こんにちは。 先日「elasticの新プロダクト「Beats」シリーズに震える！」 を投稿したPlNOKlOです！ AcroquestではENdoSnipeBVDというサービスで経営の可視化を行っており、 私も2年目ながら可視化のお手伝いをさせてもらっています。 今回、とあるお客様から、 「稼働率を表現したい」という要望をいただきました。 見たいグラフを打ち合わせした結果、 線グラフとエリアグラフを同時に表示する必要がでてきました。 ですがご存知の通り、Kibanaでは 線グラフなら線グラフ、エリアグラフならエリアグラフと、 一つのグラフしか出力できないんです。 ではどうするか・・・ JavaOne2015に登壇し、 私のボスでもある、 @cero_t さんに相談したところ、 「試しにTimelion使ってみたら？」 とアドバイスをもらいました。 Timelion・・・？ Timelion

こんにちは、fujiiです。 第14回elasticsearch勉強会に参加してきました。 途中、電車遅延の影響で、間に合わないかと焦りましたが、 何とかギリギリで到着でした。 冬なのに、汗かきましたよ。。。 さて、本題に戻り、勉強会の内容を紹介しますね。 ここがツラいよElasticsearch リクルート高林さんによる「ここがツラいよElasticsearch」 リクルートさんが行っているElasticsearchの活用事例と、 実際に困った問題を教えてくれました。 前半は、リクルートさんのElasticsearchの活用事例の紹介でした。 こちらについては、以前、ブログで紹介しているので、 以下を参照ください。 Elastic{ON} Tokyo 2015レポート 〜事例紹介 その1 リクルートテクノロジーズ、Naver #elasticon - Taste of Tech Topi

初めてこのブログに投稿します、PlNOKlOです！ 皆さんよろしくお願いします。 このエントリーは、Elasticsearch Advent Calendar 2015の15日目です。 さて、 今日紹介したいのは、elasticの新プロダクト「Beats」シリーズです。 社内で @cero_t さんが「みんなでBeatsのWebinarを見る夕食会」なるイベントを 突発的に企画したので、よく分からないながらも参加してきたのですが、、、 震えました モニタリングツールとしてかなりよくできている感じで、 @cero_t さんが騒ぐ理由も分かる気がしました。 特にPacketbeatは想像以上にヤバかったですね。 皆さん、こいつは注目です！ ということで、そんなBeatsシリーズのうち、 TopbeatとPacketbeatの2つについて、私の震えポイントを紹介します！ 1. Beatsとは？

こんにちは、もっと多くのJava技術者がCamelで楽できるはずと信じているツカノ(@snuffkin)です。 前回は、発達したJavaのエコシステムの恩恵にあずかり、実質数行のJavaコードで、twitterとelasticsearchを連携させることができました。 今回は、Spring XMLでCamelを記述することで、twitterとelasticsearchを連携させてみましょう。 「Camelって何？」って人は、前回までの内容を確認しておきましょう。 Apache Camel入門(その1 OSSをつなぐOSS) - Taste of Tech Topics twitterとelasticsearchを簡単に連携させる(Apache Camel入門 その2 コンポーネントについて) - Taste of Tech Topics CamelのDSLについて これまで説明してきたCa