RDS(MySQL) のスロークエリを EFK スタック + Docker で出来るだけ手軽に可視化する考察 - ようへいの日々精進XP
モチベーション RDS の勉強をしたい→スロークエリの設定を見てみよう RDS のスロークエリをお手軽に可視化出来ないものか Elasticsearch + Fluentd + Kibana(EFK スタック) を改めて勉強したい 実サービスへの影響を極力抑えたい 可視化する手間は極力省く ということで、Elasticsearch + fluentd + Kibana + docker-compose を利用することで、ほぼコマンド一発で可視化する環境は起動する環境を作ってみた。 github.com 参考 https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/UserGuide/USER_LogAccess.Concepts.MySQL.html https://github.com/kenjiskywalker/fluent-plugin
【新機能】Kibana PluginsのGraphがリリースされました | DevelopersIO
はじめに 藤本です。 先日、Elastic Stackの新バージョンがリリースされ、簡単にファーストインプレッションを「[速報]Elastic Stackの新バージョンがリリースされました（Elasticsearch2.3、Logstash2.3、Kibana4.5、Beats1.2）」にてご紹介しました。 Elastic日本語ブログに@johtaniさんが翻訳した記事も公開されています。 Release Bonanza! Elasticsearch, Graph, Shield, Watcher, Marvel, Logstash 2.3、Beats 1.2、Kibana 4.5 リリース! 本エントリではKibana Pluginsに追加されたGraphを簡単に触ってみたのでご紹介します。 概要 Graphはインデックス内のデータの関連性を発見する方法を提供します。 RDBMSでは登録
Elasticsearch Marvel 2.x はプロダクションでも無料で使えるので入れておこう。 | DevelopersIO
入社３日目の木戸です。入りみだれるチャットコミュニケーションにあたふたしつつも、社内のドキュメントなどを読みあさりながら、少しづつ会社にも慣れてきたかな？といった感じです。 そのうち「Elasticsearch 入門シリーズ」でも連載しようかと考えているのですが、今回記念すべき１本目のブログは、 なぜか、Marvel です！ニッチですw Marvel Marvel 2.x は、Kibana 4 をベースにUIが再設計され、Elasticsearch 2.x を効率的に管理するための主要なメトリクスにフォーカスされていて、より監視しやすいUIになっています。 Marvel 1.x では有償の製品として提供されていましたが、Marvel 2.x は、Basic License を申請することで、開発でもプロダクションでも無料で使い続けることができますので是非導入しておきましょう。 注意 マルチ
Elasticスタックではじめるログ解析入門 #osc16ep
オープンソースカンファレンス 2016 Enterprise@Osakaでの発表資料
ログデータ可視化ツール『Kibana』に今も流れるPay it forwardのOSS的精神 - エンジニアtype | 転職type
2015.12.25 働き方 Kibanaとは、Elastic社が提供するログデータ可視化ツール。同社のメインプロダクトであるElasticsearch同様、世界中の企業で利用が進んでいる。ビッグデータ解析の時代において、今後ますます存在感を増していく可能性を秘めたプロダクトといえるだろう。 このKibanaは、現開発リーダーのRashid Khan氏が、2013年にElastic社にジョインするより前にOSSとして開発を始めたもの。以前インタビューした同社の創設者で現CTOのShay Banon氏同様、その開発哲学にはオープンソースコミュニティの影響が色濃い。 今年12月16日、東京・六本木で開催されたElastic社の技術カンファレンス『elastic{on} Tour 東京』で来日したKhan氏に、Kibana開発に至った経緯や今後の構想、さらには理想とするエンジニア像について聞いた
ネットワークの可視化 | GREE Engineering
GREE Advent Calendar 2015 の23日目担当の上竹です。普段はアプライアンスLB やネットワークの構築/運用をしております。 概要 バックボーンネットワークを設計運用していると、実際どのようなトラフィックがどのくらい流れているか中身を知りたい(見たい)ことがよくあります。 どのISP からどの回線へどのくらい流入があるのかだったり、どんなAS からどのくらいアクセスがきているか、これら様々な情報を正しく把握することは、Transit 回線やIX 回線をコントロールし今後のネットワーク戦略を考えるうえで非常に有益です。 また、昨今我々を悩ましているDDoS 対策の第一歩として、今流れているトラフィックをまず"知る"ということが必要だと思います。 そこで、今回ネットワークの見える化を、「NetFlow」、「Fluentd + ElasticSearch + Kibana」
Timelionの紹介 - Elasticsearch Advent Calendar 2015 1日目
こんにちは、@johtaniです。 早いもので、師走です。今年もあと少しとなりました（今月が一番忙しかったりしますが。。。）。 ということで、Advent Calendarの季節が始まりました。 この記事はElasticsearch Advent Calendar 2015の1日目のエントリです。 今日は、最近公開されたTimelionの紹介をしたいと思います。 Timelion? 11/12に公開されたばかりのアプリになります。（公式のブログはこちら。ブログでは動画による説明もあり） Kibanaにプラグインとしてインストールすることで使用することができるようになるアプリです。 Timelionと書いて「Timeline」と読むようです。 Kibanaとは異なるグラフ描画のプラグインになっています。 Kibana 4.2からプラットフォーム化 Kibana 4.2から、Kibanaにプラ
Elastic{ON} Tour 2015 in Tokyo に参加した & Topbeat を動かした - kakakakakku blog
今日は楽しみにしてた「Elastic{ON} Tour 2015 in Tokyo」に参加してきた！ 刺激的な1日だった．キーノートはとにかく圧巻だったし，カスタマー事例は Elasticsearch を筆頭に ELK スタックの可能性が業種を選ばずここまで広がっているんだなというのを知ることができた．参加者全員が Elastic 製品を愛してる雰囲気が出てて素晴らしいコミュニティだなと感じた． リアルタイムブログも出てたし，明日以降も多くレポートが出そうだけど，個人的なメモを簡単に残しておこうと思う．さらに今日知った Beats シリーズの Topbeat を試してみたので，その話も書く． キーノート Elastic 社 CEO の Shay Banon や Kibana Creator の Rashid Khan が Elastic 製品の事例やロードマップを語っていた．とにかく圧巻の
Data Analytics Park ～アナリティクスびより～: fluentdを使ってWindows環境のログを収集（パース編）
今回は、以下の図の通り、将来的な拡張を考慮しつつ、複数のプラグインを使ってログのパースからElasticsearchへの送信までを設定していきます。なお、点線で囲ってあるプラグインは、今回は設定しませんのでご注意ください。 ■ 事前設定: nxlogの全角文字化け対策設定 Windows 2003 Server (Windows XP)以前の環境からログ収集を実行する場合や、コマンドプロンプトから出力されるログファイルは基本的に”Shift JIS”で出力されますが、ログ集約をするfluentdがインストールされているLinuxサーバーは基本的に”UTF-8”で運用されています。このため、単純にWindowsからログを収集してLinuxサーバーに転送すると文字化けが発生します（特に全角文字）。これを解消させるために、文字コードの変換処理をnxlogの設定ファイル（C:\Program Fi
データ可視化に便利なkibanaは、elasticsearchのプラグインとして構成すると便利 #Fluentd - Y-Ken Studio
Fluentdなどから収集したメッセージをelasticsearchへ格納してKibanaで可視化するソリューションは素晴らしく、とても人気があります。次の画像のように見栄えが良いことも特徴です。 このダッシュボードアプリであるKibanaはJavaScriptアプリケーションです。そのため静的ファイルを配置すればどこでも動きます。 しかしそれだけのためにApacheやNginxなどのWEBサーバを新たに起ち上げるのは手間ですよね。 実は新たに起ち上げない方法もあるのです。こんな時に役立つTipsを紹介します。 elasticsearchのsiteプラグイン siteプラグインは、ウェブベースのインターフェースを提供するものです。 elasticsearchの挙動へ変更を加えるものではないため、サービス停止(再起動)を行わずにインストール・アップデート・アンインストールができます。 モニタ
Elasticsearch + Kibanaを起動するDockerfileを書いてみた - hidemium's blog
前回、sensuでDockerコンテナを監視することができたため、今回はDockerコンテナの監視を可視化するための前段階として、最近注目されているサーチエンジンであるElasticsearchを起動するDockerfileを書いてみました。また、Elasticsearchのフロントエンドを提供するKibanaも合わせてインストールします。 構成 Ubuntu 12.04: サーバ構築対象 ※Ubuntu 12.04はDocker 1.0.0上で動作しています。 Dockerfile Dockerfileの構成 Dockerfileの構成は以下の通りです。 elasticsearch ├──Dockerfile ├──id_rsa.pub ... 公開鍵 ├──sources.list ... ミラーサイト一覧 ├──config.js ... Kibanaの定義ファイル ├──defau
Kibanaのダッシュボード設定を動的生成してみる
インフラ担当の池田（@mikeda）です。 最近、Kibanaでアクセスログの可視化をやってみてるのですが、手でダッシュボードいじるのがダルいです。 例えばうちの場合はサーバクラスタ、顧客アカウントごとのアクセスを見たい場合が多く、その条件を毎回指定するのがめんどくさい。 ここを動的に生成できないかな、と思って調べてみました。 イメージとしては、 内部管理画面にクラスタ/顧客アカウントの一覧があるのでそこにKibanaのリンクを設置して、 クリックすると適切に設定されたKibanaに飛ぶ、 という感じです。 Kibanaのソースコードやドキュメントはぜんぜん読んでないのですが（すませんｗ）、UIをポチポチ触ってるととりあえず以下の2つの方法でなんとかできそうでした。 Kibanaサーバに設定ファイル配置 ElasticSearchに設定突っ込んでリダイレクト Kibanaサーバに設定ファイ
fluentd -> Elasticsearch 大量データ転送でトラブル | diaspora
概要 fluentd でサービスの情報を転送し、Kibana で分析したい これまでの過去データを一度に放り込みたい データの件数が合わない Kibana でエラーが発生する 各種設定を見直すことで対応可能 背景 長い長いミーティングに疲れ、集中力を擦り減らしたアナタは 無意識のうちにブラウザを起動していました。 去年まで勤めていた会社の同僚がシェアした記事が目に止まります。 「fluentd + Elasticsearch + Kibana で今どきのログ分析！」 感化されやすいアナタはおもむろに VM を立ち上げ環境を構築します。 Web サーバから吐き出されたログはオシャレでイイ感じにチャート化され、 満足したアナタは VM を落とし、再び仕事に戻りました。 しばらく経ったある日のこと、ふと気づきます。 「ログだけじゃなくて、ユーザ属性の分析にもコレ使えそう。」 毎度オレオレ管理ペー
Elasticsearch Marvelの紹介と第一印象
昨晩、Elasticsearchから初のプロダクトとなるMarvelがリリースされました。ということで、さっそく触ってみて、簡単な紹介と感想を書いてみました。 Marvelって？ Elasticsearch社が初のプロダクトとしてリリースした、Elasticsearchクラスタモニタリングツールです。 次のような特徴があります。 plugin形式で提供 GUIがKibana メトリックスはElasticsearchに保存 SenseがChrome以外でも使える プロダクション環境で利用する場合は有料ですが、開発用途では無料で利用できます。 現時点(2014/01/29)では、0.90.9以上のバージョン(1.0.0.RC1含む)で利用が可能です。 なにができるの？ Elasticsearchクラスタに関するメトリックスを保存、可視化できるプロダクトです。 ドキュメント数やJVMの状況、クラ
Kibana+Elasticsearchで文字列の完全一致と部分一致検索の両方を実現する - Qiita
Elasticsearchはデフォルトで文字列を要素解析して保存する。これによって部分一致検索ができるようになるのだが、完全一致検索が難しくなる。 便利なTermsがうまくいかない KibanaにはTermsという値の上位10件とかを表示してくれるパネルがある。次のようなデータを入れているとする。 { "@timestamp": "2013-12-17T10:12:40+09:00", "remote_addr": "203.0.113.10", "country_code": "JP", "request_uri": "/index.php", "user_agent": "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)" } すると、いまアクセスされている国の比率とかを見たければ、count
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
