[B! Kibana] h1saoのブックマーク

Docker初心者が、Nginxのログを fluentd + elasticsearch + kibana で可視化してみた - Qiita

Docker初心者が、Nginxのログを fluentd + elasticsearch + kibana で可視化してみたnginxFluentdElasticsearchDockerKibana Dockerは仮想技術の一つ程度しか知らいない状態から、JJUG CCC 2018 Spring で「Java エンジニアのためのDocker入門～仮想開発・テスト環境構築～」を聞いて少し勉強してみたのでDockerで環境を作ってみました。「今更Docker入門 - コンテナ化することで何が嬉しいか」の延長線で、Nginxのログを fluentd + elasticsearch + kibana で可視化してみました。ちなみに私は、fluentd も elasticsearch も kibana も聞いたことがあるだけで全く使ったことも無く予備知識もほぼないまま、環境を構築しているので、

h1sao 2018/06/13

リンク

Fluentd＋Elasticsearch＋Kibanaで作るログ基盤の概要と構築方法

システム障害の原因調査や、稼働状況の確認のためにログの中身を確認することがよくあります。しかし、ログが大量に出力されていたり、複数の場所に分散して出力されていたりすると、それを確認するために多くの手間と時間がかかってしまいます。これらの課題解決の方法として、ここ最近主流となっているのが、複数のOSS（オープンソースソフトウェア）ツールを組み合わせてログの収集や検索、可視化ができる基盤（ログ基盤）を構築することです。その中で特に代表的なものが、「Fluentd」（ログの集約）、「Elasticsearch」（ログの検索）、「Kibana」（ログの可視化）であり、本連載では、これらのログ基盤を実現するツールについて、構築方法や利用方法、実際の案件で使ったときの事例、さらにはログ基盤に関連する最新の情報を紹介していきます。連載第1回の本稿では、Fluentd、Elasticsearch、K

h1sao 2017/04/06

リンク

fluentd+elasticsearch+kibanaの環境を構築してみた - ssossanの日記

背景 webサービスを運用してるんですが、ログをもっと有効活用しようぜ！って話になり、とりあえず手元でfluentd+elasticsearch+kibanaを使って環境を作ってみました。アプリが入ったサーバには極力負荷をかけたくないので、パース作業は別のサーバで行いました。そのへんでいい感じにまとまってる情報が見つからなかったので、備忘録を兼ねてメモ。サーバ構成アプリケーションサーバ(今回はmac) -> fluentdを入れてログの送信だけやらせる。 VM(ubuntu14.04) -> fluentd, elasticsearch, kibanaを入れてログのパース〜蓄積〜表示まで。実運用では変わるだろうけどまあ練習ということで。ハマった点・困った点 1. アプリケーションサーバからログをそのまま送信するのってどうやるんや 2. 正規表現苦手なんだけど 3. parserプラ

h1sao 2015/11/09

リンク

Kibana3 + elasticsearch + fluentd を試した

こんにちは。@jedipunkz です。 {% img /pix/kibana3.png %} 前回の記事で Kibana + elasticsearch + fluentd を試しましたが、ツイッターで @nora96o さんに “Kibana3 使うと、幸せになれますよ！” と教えてもらいました。早速試してみましたので、メモしておきます。前回の記事。 http://jedipunkz.github.io/blog/2013/09/07/kibana-plus-elasticsearch-plus-fluentd/ 前半の手順は前回と同様ですが、念のため書いておきます。前提の環境 OS : Ubuntu 12.04 Precise (同じ方法で 13.04 Raring でも出来ました) 必要なパッケージのインストール下記のパッケージを事前にインストールします。手順を省くために

h1sao 2015/06/19

リンク

データ可視化に便利なkibanaは、elasticsearchのプラグインとして構成すると便利 #Fluentd - Y-Ken Studio

Fluentdなどから収集したメッセージをelasticsearchへ格納してKibanaで可視化するソリューションは素晴らしく、とても人気があります。次の画像のように見栄えが良いことも特徴です。このダッシュボードアプリであるKibanaはJavaScriptアプリケーションです。そのため静的ファイルを配置すればどこでも動きます。しかしそれだけのためにApacheやNginxなどのWEBサーバを新たに起ち上げるのは手間ですよね。実は新たに起ち上げない方法もあるのです。こんな時に役立つTipsを紹介します。 elasticsearchのsiteプラグイン siteプラグインは、ウェブベースのインターフェースを提供するものです。 elasticsearchの挙動へ変更を加えるものではないため、サービス停止(再起動)を行わずにインストール・アップデート・アンインストールができます。モニタ

h1sao 2015/06/17

リンク

Elasticsearch Kibana でデータの可視化

https://twitter.com/johtani/status/462624729577189378見つけたので勝手に掲載させてもらいました。確かにこの方が簡単ですね。手順を調べたのでメモ。 # Kibana プラグインのインストール $ bin/plugin -url http://download.elasticsearch.org/kibana/kibana/kibana-latest.zip -install elasticsearch/kibana3# ブラウザアクセスURL http://localhost:9200/_plugin/kibana3/NOTE：古いバージョンがインストールされてしまうので、インストールするとき、-url で最新版を指定した方が良さそうです。インデックスの作成とマッピング定義日本語を含むツィート情報をインデックス、グラフ化したいのでTwi

h1sao 2015/06/17

リンク

[備忘録] Fluentd, Elasticsearch, Kibana の各種インストール手順 - Qiita

[備忘録] Fluentd, Elasticsearch, Kibana の各種インストール手順環境 Vagrant を使用した Ubuntu 14.04 下記、 Vagrantfile で立ち上げ # -*- mode: ruby -*- # vi: set ft=ruby : # Vagrantfile API/syntax version. Don't touch unless you know what you're doing! VAGRANTFILE_API_VERSION = "2" Vagrant.configure(VAGRANTFILE_API_VERSION) do |config| config.vm.box = "chef/ubuntu-14.04" config.vm.network "private_network", ip: "192.168.33.10"

h1sao 2015/06/16

リンク

楽しい可視化： elasticsearchとSpark Streamingの出会い | NTTデータ先端技術株式会社

0. ログやデータを取得した後は？ログやデータの分析には、様々なアプローチが考えられるが、Apache Solrやelasticsearchといった全文検索エンジン製品にデータを蓄積し、その機能を用いて検索・集計・分析を行う方法がある。その際、データをそのまま蓄積するのではなく、各ツイート・各行に属性を付与（エンリッチメント）することにより、分析の幅は大きく広がる。全文検索エンジンへのデータの投入では、Flume-ngやfluentdといったデータ収集製品を利用する実例が多い。しかし、リアルタイムにデータに対してエンリッチメントの前処理を行おうとした場合、処理が複雑になるにつれ、単体サーバーで動作するFlume-ngやfluentdでは処理能力が頭打ちになってくる。そこで、登場するのが、リアルタイムに大量のデータを処理することができるストリーミング処理系のビッグデータ関連技術である。

h1sao 2015/06/16

リンク

はてなブックマーク

タグ

関連タグで絞り込む (10)

Kibanaに関するh1saoのブックマーク (8)

お知らせ

今週のはてなブックマーク数ランキング（2024年10月第1週）

月間はてなブックマーク数ランキング（2024年9月）

今週のはてなブックマーク数ランキング（2024年9月第5週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス