Elastic Stack 6.0GAがリリースされました。 - Taste of Tech Topics
皆さんこんにちは IBIS2017に参加した@tereka114です。 本日、Elastic Stack 6.0のGAがリリースされました。 そこで、今回の記事では、Elastic Stack 6.0GAの注目の機能を簡単に紹介します。 ちなみに、以前、Elastic Stack 6.0に関係する記事として、Elastic Stackの6.0のBeta版の紹介をしました。 acro-engineer.hatenablog.com また、今回のElastic Stack 6.0GAについて公式からElastic Stack 6.0GAの紹介を次のサイトで行っています。 より詳細なElastic Stack 6.0 GAの変更点はこちらを確認してください。 Elastic Stack 6.0.0 GA is Released | Elastic Elasticsearch Elasticsea
Officeドキュメントの中身検索をElasticSearch（mapper-attachmentsプラグイン）でやってみた - Qiita
Officeドキュメントの中身検索をElasticSearchで行ってみた ※ 事前にkuromoji もインストールしていくこと 今回ポイントになる、mapper-attachment プラグインをインストール mapper-attachment とは、 .pdfや.pptxに対応するためのプラグイン これらに対応させるApache Tikaを扱うためのattachmentタイプを使えるようにしてくれる -> Downloading mapper-attachments from elastic [=================================================] 100% @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: plugin requires addi
Fluentd+Elasticsearch+kibanaを使ったログ可視化(part1) - Qiita
はじめに ログの可視化をしたいと思い立ち、いろんなサイトを参考にして、まずはサーバの構築をしてみることにしました。 ということで、まず第一弾はサーバの構築をやっていきます。 構成 サーバを２台作ります。 サーバ１号機は、クライアントとして。サーバ２号機はサーバとして利用することとします。 サーバ１号機にはFluentd、サーバ２号機にはFluentd/Elasticsearch/kibanaをインストールします。 ざっくりはこんな感じ 環境 使用した環境は以下の通り。 HostOS version
東京メトロのオープンデータをElasticsearch + Kibana (5.0.2)で可視化してみる（Java Client） - 烏滑稽
JJUG CCC 2016 fallブーストークで大谷さんがElastic Advent Calendar枠まだありますって言ってて、勢いで登録してしまった。 qiita.com 実は時間もネタもなかったことに後から気付きつつ速攻でなんかやっていきます！ 3時間くらいでなんとかなったらいいな！ 何かいいサンプルデータないかなー 電車の遅延傾向とかパッとグラフで見れたらいいなーと思いつき、 以前どこかで聞いた気がして調べて見つけたのが東京メトロのオープンデータです。 東京メトロオープンデータ開発者サイト 東京メトロの路線情報や駅情報をAPIで参照できます。 APIを利用するためには開発者登録をすると最大2営業日ほどでアクセストークンが取得できるとのことだったんですが自分がやったら半日で登録してくれました、ありがたい。 APIは路線IDで路線を検索したりLat Lonで駅検索したりいろいろでき
EFK(Elasticsearch,Fluentd,Kibana)で簡単ログ基盤をdocker-compose使って立ち上げる - Qiita
EFK(Elasticsearch,Fluentd,Kibana)で簡単ログ基盤をdocker-compose使って立ち上げるFluentdElasticsearchDockerKibanaEFK GoogleAnalytics一辺倒のWeb運用から自前のDWHなんかを立てる運用にWeb運用の主戦場が移り変わってきてると感じる今日このごろ。 Web界隈に生きるエンジニアとしてはログ基盤くらいちょろっと調達できなければいけません。 とはいえ何を使っていいのやらと悩むことも多いことでしょう。 勝手に鉄板構成 いろんな選択肢がある中から、下記の選定をしてしまうと楽な気がします。 ログ集める：Fluentd ログためとく：Elasticsearch ログ見る：Kibana Elasticsearchはけしてためとくのが得意じゃないので、ちゃんとためておきたい場合はS3とかファイルとかに出しておきま
Amazon Kinesis AnalyticsとES/Kibana4でリアルタイムダッシュボード構築 - Gunosyデータ分析ブログ
こんにちは。開発・運用推進部の小出です。 猫にイヤホンを噛み切られること数回、最近のBGMはもっぱら環境音です。 「耳からうどんが出ているようにしか見えない」という噂のBluetoothイヤホンが気になっています。 今回は、Amazon Kinesis AnalyticsとElasticsearch/Kibana4を利用したリアルタイムダッシュボード構築についてです。 Amazon Kinesis Analytics とは ダッシュボードを構築してみる Source StreamとMapping Query Destination ログデータを拡充する Reference DataとMapping Query Destination まとめ おまけ：AmazonES&Kibana4のダッシュボード共有 Amazon Kinesis Analytics とは Amazon Kinesis A
ElasticsearchのApache Sparkサポート機能で遊ぶ - CLOVER🍀
Elasticsearchに、Apache Spark向けのライブラリがあることは知っていたのですが、長らく手をつけていないままだったので、1度試してみることにしました。 Apache Spark support | Elasticsearch for Apache Hadoop [2.3] | Elastic こちらを使うことで、Apache Sparkが提供するAPIをElasticsearchで使うことができるようになるみたいですね。内部的には、elasticsearch-hadoopに依存している模様。 日本語記事もあるようです。 楽しい可視化 ： elasticsearchとSpark Streamingの出会い | NTTデータ先端技術株式会社 で、何をするかですが、まあ…Spark StreamingとTwitterですかね。今回は、以下のテーマでやってみることにしました。
JMeterの実行結果CSVデータをローカルMacにたてたElasticsearchとKibanaで可視化する | DevelopersIO
「JMeterの結果CSV、216万行か〜。これくらいだったらJMeterの「グラフ表示」で読み込んで見られるかな〜」 CPU「ブオオオオオオオオン！」 はじめに システムの負荷試験において、Apache JMeterのようなツールを使って試験を実施・結果を出力するケースもあると思います。結果ファイルのサイズがそれほど大きくない場合は、全データを計算する（JMeterでいう「統計レポート」）で問題ありませんが、例えば、長時間負荷をかけたので時系列でデータをグラフ化したい、といったことになると事情が変わってきます。JMeterの結果CSVは手元にあるので、なんとかこれを活用したいところではありますが、数百万行レベルのデータになると、とたんにExcelなどでは辛くなります（というか最大行数的に無理な気がします）。 そこで、ちょうど、弊社木戸がElasticsearchシリーズを連載しているとこ
ブラウザの閲覧履歴で人生の棚卸し（embulk + elasticsearch + kibanaで可視化） - Qiita
この記事は「エムスリー Advent Calendar 2015」の 22日目の記事です。 はじめに こんにちわ。年末ですね。年末といえば一年を振り返るいい機会ですね。意識の高い人たちが「人生を棚卸しするいい機会ダヨッ★」なんて言っていたような気もします。 過去の自分を振り替えってみると、あーネットサーフィンに無駄な時間を過ごしたなぁ。。なんて後悔の念が湧いてきます。しかし、よく考えてみると、自分がブラウザで何を閲覧していたのか、きちんと振り返ったことがありませんでした。いい機会ですので、この記事では 自分の閲覧履歴を可視化して分析する基盤 を構築してみたいと思います。 ただ、一点ネックなのは、私は chrome => メインブラウザ firefox => ある特定の用途 といったように、2つのブラウザを戦略的に使い分けております。つまり、閲覧履歴データが分散しているわけです。分散してしま
今年よかった習慣: ライフログ収集および可視化 - yasuhisa's blog
データを眺めるのが好き 収集している情報 実現方法 データから分かった知見(?) 今後 年末なので、今年買ってよかったものに引き続き、今年やってみてよかった習慣について書いてみたいと思います。 データを眺めるのが好き 昔からデータを眺めるのは好きだったんですが、今年の5月くらいから自分に関するデータをとにかく収集してみました。可視化することで何か有益な視点だったり、生活の改善点が見つかるのではないか、という目的です。色んなデータを集めまくった結果、以下のようなグラフができあがります。ちょっと画像が小さいですが、毎日の歩いた歩数や体重、気温、録画した番組名、自宅マシンの負荷状況などが載っています。 収集している情報 上の画像ではとりあえずBlogに上げれるようなデータしか見せていないですが、収集している情報としては以下のようなものがあります。使用しているスクリプトで公開できるものはgithu
Elasticsearch2.1.1とKibana4.3.1の環境をVagrantコマンド一発で構築する - Qiita
2016/01/06更新 Elasticsearchのバージョンを2.1.0から2.1.1にバージョンアップ Kibanaのバージョンを4.3.0から4.3.1にバージョンアップ Beatsのバージョンを1.0.0から1.0.1にバージョンアップ 2015/12/17更新 Elasticsearchのバージョンを2.0.0から2.1.0にバージョンアップ Kibanaのバージョンを4.2.1から4.3.0にバージョンアップ BeatsシリーズのPacketbeat, Topbeat, Filebeatのインストールを追加 Topbeatの画面サンプル 2015/11/21更新 Kibanaのバージョンを4.2.0から4.2.1にバージョンアップ Sense, Timelionのインストールを追加 まえがき 去年のElasticsearch Advent CalendarでElasticse
ELK(ElasticSearch, Logstash, Kibana)+fluentdの環境をDocker Composeで構築しつつ、試しにCloudWatchの統計データを収集してみた - Qiita
表のDockerについて。。。 Engineはいわゆる普通のDocker。Dockerの実行環境です。 MachineはローカルやAWSなどの別環境にDockerのホストマシンを構築するツール。 通常、MacやWindowsでDockerを使う場合は、このMachineを用いて、ローカルのVirtualBoxにDockerホストのVMを作って、それに対して、dockerコマンドを実行していきます。 Composeは複数のコンテナのパラメータをYAMLファイルに記述しておいて、ワンボタンで環境構築するものです。 はじめにdockerの環境を整えておく Dockerで構築しておくと何度も同じインストール作業をしなくてよくなります。 MacだとDocker Toolboxをインストールすれば、Docker Engine, Machine, Composeの準備がすべて整います。 https://
Kibana 4.1.0 + ElasticSearch 1.6.0 でデータビジュアライズ - Qiita
データの可視化手法に興味あり Kibana が "4" となって使ってみたかったので試してみました。 動作させる環境は Mac(osx) です Kibana は Elasticsearch に投入されたデータを可視化するツールでありログデータの可視化等に主に使用されます。 ログの各データにTimestampが含まれているものに対して時系列データ分析の取り扱が大変強力ですが絶対にそれが必要というわけでもありません。 Elasticsearchは言うまでもなくSolrと並ぶ Lucene 検索エンジンが動作する分散型の全文検索サーバです、 準備 (Download) どちらも最新(2015/6時点)をDownLoadします。 * Kibana4-download - 4.1 * Elasticsearch - download - 1.6.0 インストール 解凍するだけです $ ls -ltr
Logstash + Elasticsearch + Kibana4で簡易可視化 - Qiita
忘備録 【OS】 今回はCentOS7.1_x86_64版を使用。詳細は以下を参照。 http://www.server-world.info/query?os=CentOS_7&p=install 事前準備 セットアップに必要なパッケージを事前に設定しておく必要がある。以下を全て設定する。 システム変更が発生するので管理者権限が必須。rootにsuしておく事。 【YUMパッケージ管理】 yum -y install yum-plugin-priorities yum -y update yum -y groupinstall "Base" "Development tools" "Japanese Support" [EPELリポジトリ追加] yum -y install epel-release [Remiリポジトリ追加] rpm -ivh http://rpms.famillecol
Fluentd、ElasticSearch、Kibana4によるログ分析環境の構築 – hrendoh's tech memo
現在、ログを収集し分析するシステムを構築しようとした場合に、オープンソースの組み合わせですぐに始められる構成としてはじめに思いつくのは Fluentd + ElasticSearch + Kibana の構成です。 Web上の記事や書籍も充実していますし、日本にもユーザーが多そうなので割と安心して利用できる環境でもあると思われます。 この記事では、Fluendによりログ収集しElasticSearchに保存し、それをKibana 4で分析する環境の構築手順について調べた内容をまとめてみました。 今回試したのは以下のように、Apacheのアクセスログをtailして、Fluentdで収集しElasticSearchに保存、Kibanaでログの検索、分析を行うシンプルなシステム構成です Apacheのログを収集するサーバーおよびElasticSearch、Kibanaをインストールするサーバーと
Kibanaによるログデータのビジュアライズ | Donuts Tech Lab.
April 20, 201514:08 カテゴリ Kibanaによるログデータのビジュアライズ ツイート こんにちは。ゲーム統括部 ヱヴァンゲリオンバトルミッション(バトエヴァ)チームの長坂(@phelrine)です. 本稿ではKibanaを利用したログデータのビジュアライズ方法について紹介します.一般的なソーシャルゲームではユーザーの行動ログをKPIの計測のためや不具合の補填のために保存しています.当社でもユーザーの行動ログをフィルタリングしKPIを計測しているサービスが多数あります.このような仕組みでもKPIの計測は行えるのですが指標の追加や期間別の分析, クエリの条件を少し変更したい等のゲームプランナーの要望に対応するために時間がかかる場合があります. この問題に柔軟に対応するためにKibanaを導入しました.KibanaはElasticsearchをバックエンドにしたビジュアライズ
fluentd × Elasticsearch × kibanaによるアクセスログ解析 - Qiita
概要 fluentdでログ転送＆収集を行い、 Elasticsearchでデータを保存し、 kibanaでデータの可視化を行う。 サーバー構成 APIサーバー（複数台） 【nginx】→【fluentd】→ログ収集サーバーへ転送 ログ集約サーバー（兼 解析サーバー） APIサーバーから転送→【fluentd】→【Elasticsearch】⇔【kibana】 サーバー設定 APIサーバー log_format ltsv 'time:$time_iso8601\t' 'remote_addr:$remote_addr\t' 'request:$request\t' 'request_method:$request_method\t' 'request_length:$request_length\t' 'request_uri:$request_uri\t' 'uri:$uri\t' 'qu
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Dockerを利用して Elasticsearch + Kibana の環境で kuromoji + Neologd を試す - Qiita
Docker
CentOS 7.1+Fluetnd+Elasticsearch+Kibana4をAnsibleで構築する - Qiita
