Elasticsearch+Logstash+Kibanaで作るTwitter分析ダッシュボード 作成手順まとめ - Qiita
はじめに 今回はElasticsearchとKibanaを使った、Twitterダッシュボードの作成方法についての解説しています。Elasticsearchに関する前提知識はなくても、最後までたどり着ける構成になっている(はず?)なので、是非参考にして頂ければと思います。 単につぶやきデータを収集したいという場合は、TwitterのAPIを好みのスクリプトで呼び出して取得すれば良いのですが、今回の場合はつぶやき数の推移を追いたい、踏み込んだ分析も行いたいなどという目的もあったので、データがストックされていき、ドリルダウン分析も可能な環境を構築する形で対応する事にしました。 Redash / Googleスプレッドシートのアドインなど色々と実現手段は考えられたのですが、Elastic Stackで構成するのが1番手軽かつ、要件を満たせると考え実装しました。同じように特定のキーワードを含むつぶ
15分で作る、Logstash＋Elasticsearchによるログ収集・解析環境 | さくらのナレッジ
たとえば、inputに「stdin」、outputに「file」というプラグインを使用すれば、標準入力からイベントを受け取り、それをファイルに出力することが可能となる。そしてLogstashが注目されている理由の1つのが、出力先として「Elasticsearch」が利用できる点だ。 検索機能に優れた分散型データベース「Elasticsearch」 Elasticsearchはオープンソースで開発されている分散型データベースシステムだ（図2）。「Elastic」という名前のため勘違いされやすいが、米Amazonが提供しているクラウドサービス「Amazon Elastic Compute Cloud（EC2）」とは無関係だ。 図2 ElasticsearchのWebサイト ElasticsearchはJavaで実装されており、またデータ検索エンジンとして「Lucene」が組み込まれているのが特
オブザーバビリティも、セキュリティも、検索ソリューションも、Elasticsearchプラットフォームならすべて実現できます。
Fluentd+Elasticsearch+Kibana構成で便利な、logstash形式インデックスの粒度をカスタマイズする方法 - Y-Ken Studio
fluent-plugin-elasticsearchやKibanaのデフォルトであるlogstash形式では、年月日毎にインデックスを作成されて使われることを想定されています。 これは扱いやすいのですが万能では無く、次のような状況ではパフォーマンス的な観点で、このインデックスの粒度を変更することを検討すると良いケースがあります。 粒度を細かくしたいケース（時間単位） 日毎のインデックス作成では、elasticsearchに割り当てたメモリ量を超えてしまう 粒度を荒くしたいケース（週単位/月単位/年単位） 日毎のインデックス作成では容量が小さく、日常的に検索する範囲が複数のインデックスに渡るとき Kibanaは年月日以外の粒度（時間・日・週・月・年）にも対応していますので、変更することも容易です。これは次の2つの設定変更で適用できます。 ログ収集を行うElasticsearchへ流し込む、
リレーショナルデータベースで管理しているデータを Elasticsearch で検索・分析したい場合、Logstash が便利です。 Logstash とは？Logstash はオープンソースのサーバーサイドデータ処理パイプラインです。様々な数のソースからデータを取り込み、変換し、指定された任意のストア先にデータを格納することができます。 処理の内容はシンプルで、Input ステージでソース元の接続先情報を管理し、Filter ステージで変換をし、Output ステージで格納先接続先情報を定義します。Input 及び Output プラグインはデフォルトで様々なソースをサポートしています。そのため、Logstash を使えば、プログラミングレスで MySQL のデータを取り込み、変換し、Elasticsearch へインデックスすることができるのです。 事前準備MySQL と Elasti
The unsung heroes of log analysis are the log collectors. They are the hard-working daemons that run on servers to pull server metrics, parse loogs, and transport them to systems like Elasticsearch or PostgreSQL. While visualization tools like Kibana or re:dash bask in the glory, log collectors’s routing making it all possible. Here, we will pit the two of the most popular data collectors in the o
Elasticsearch、Logstash、Kibana、Kuromojiでタグクラウドを作る - Taste of Tech Topics
突然ですが、我が家は2階にリビングがあるタイプの戸建てでして、天井が勾配していてカッコイイ感がすごいのですが、この季節は暖房の熱がどんどん登ってしまってなかなか部屋が暖まりません。 要するに寒いという話なのですが、皆さんいかがお過ごしでしょうか、@cero_t です。って僕のジョークと家の寒さは関係ないですから💢 さて、このエントリーは Elastic Advent Calendar の18日目です。 qiita.com 元々、マイクロサービスの可視化や、Kafkaを用いたデータ収集の安定化について書くつもりだったのですが、思いつきで作ったタグクラウドが予想外にイイ感じだったので、このエントリーではその経緯を紹介したいと思います。 タグクラウドとは、文中に頻繁に登場するワードを上の絵のように可視化する機能です。 最近リリースされたKibana 5.1.1に新しく追加されました。 この機能
Fluentd vs Logstash ·
Blog Projects Jason Wilder's Blog Software developer and architect interested in scalability, performance and distributed systems. Fluentd vs Logstash Nov 19, 2013 · 6 minute read · Comments logging realtime fluentd logstash architecture Fluentd and Logstash are two open-source projects that focus on the problem of centralized logging. Both projects address the collection and transport aspect of c
Fluentd vs. Logstash for OpenStack Log Management
Slide at OpenStack Summit Tokyo 2015. Session Info: http://sched.co/49tt Video: https://www.youtube.com/watch?v=1ye0-sityBwRead less
Logstash + Elasticsearch + Kibana4でTwitterを可視化する | DevelopersIO
はじめに 最近改めてElasticsearchをいろいろ触っているのですが、その中でElasticsearchにデータを流し込むRiverを覚えた...のですが、RiverはDeprecatingなのでLogstash使おうということらしいです。 ということで、elasticsearch-river-twitterでは無くLogstashを使って、Twitter Streaming APIから取得したデータをElasticsearchに投入し、かつKibana4で可視化してみました。 やってみた 全てEC2上のAmazon Linuxで作業を行っています。 Logstashのインストール Logstashはjavaで動くので、javaが入ってることを確認します。 $ java -version java version "1.7.0_85" OpenJDK Runtime Environm
15分で作る、Logstash＋Elasticsearchによるログ収集・解析環境 | さくらのナレッジ
たとえば、inputに「stdin」、outputに「file」というプラグインを使用すれば、標準入力からイベントを受け取り、それをファイルに出力することが可能となる。そしてLogstashが注目されている理由の1つのが、出力先として「Elasticsearch」が利用できる点だ。 検索機能に優れた分散型データベース「Elasticsearch」 Elasticsearchはオープンソースで開発されている分散型データベースシステムだ（図2）。「Elastic」という名前のため勘違いされやすいが、米Amazonが提供しているクラウドサービス「Amazon Elastic Compute Cloud（EC2）」とは無関係だ。 図2 ElasticsearchのWebサイト ElasticsearchはJavaで実装されており、またデータ検索エンジンとして「Lucene」が組み込まれているのが特
※この記事は次のブログを翻訳したものになります。 原文：Reindex Elasticsearch With Logstash Thanks David! マッピングを変更したり、インデックスの設定を変更したり、あるサーバから他のサーバや、 あるクラスタから他のクラスタ（例えば複数のデータセンターのような場合）にデータを再インデックスしたくなることがあるでしょう。 後者のような場合はSnapshotやRestoreの機能を利用することもできますが、インデックスの設定を変更をしたい場合は その他の方法が必要になります。 Logstash 1.5.0で、 elasticsearch inputとelasticsearch outputを使うことで、とても簡単に再インデックスができます。 ではやってみましょう。 古いクラスタ elasticsearch 1.5.2 はすでにダウンロード済みとして
logstash-output-amazon_esを使ってAmazon Elasticsearch Serviceにデータを投入する | DevelopersIO
はじめに もうこの際はっきり言っておきますけど今日はAmazon Elasticsearch Service(Amazon ES)のことしかやってません。どうも佐々木です。 朝からずーっとAmazon ESのブログ書いてました。 [新機能]Amazon Elasticsearch Serviceがリリースされました！ Amazon Elasticsearch Serviceでkuromojiを使って日本語全文検索する すると、同僚がネタを提供してくれました！ awslabs/logstash-output-amazon_es AWS謹製のLogstashプラグインです。Amazon ESはIAMによってアクセス制御を行うのですが、このLogstashプラグインを使うことで、EC2に割り当てたIAM Roleを使ってAmazon ESにデータを投入することができます。EC2でアクセスキーを持
インデックステンプレートとLogstash
前回の「Logstashを利用したApacheアクセスログのインポート」の続きです。 前回の記事では、Logstashの設定ファイルについて説明しました。 今回は「Elasticsearchに設定するインデックステンプレート」について説明します。 テンプレートの設定 Elasticsearchでは、登録するデータの特性に合わせてMappingを定義する方がデータを効率良く扱うことができる場合があります。 この場合、通常ですと、インデックス作成時にMappingを指定します。 ただ、今回は、インデックス名に「年」を含める形で指定してあります。 「年」はLogstashで処理したデータによって決まります。このため、あらかじめMappingを指定してインデックスを作成するのは難しいです。 このような場合に便利な機能として、「インデックステンプレート」があります。 インデックステンプレートとは 実
Logstashによるログ収集システムの構築
サーバーセットアップ 公式ドキュメントに従ってKibana,elasticsearch,Indexder,Brokerをセットアップします。 Kibanaのインストール 公式サイトからアーカイブをダウンロードし、ApacheのDocumentRootに展開します。 $ curl -sL https://download.elasticsearch.org/kibana/kibana/kibana-3.0.0milestone5.tar.gz | sudo tar zxf - -C /var/www/html $ sudo mv /var/www/html/kibana-3.0.0milestone5 /var/www/html/kibana EstaticSearchのインストール 公式サイトからCentOS用のRPMパッケージをダウンロードし、インストールします。 $ wget -q -
ログ収集について（kibana、elasticsearch、logstash、Fluentd、Apache Flume、Splunk） - ぺーぺーSEのブログ
Kibanaというツールがきっかけでちょいとメモ。 Kibana入門 https://speakerdeck.com/y310/kibanaru-men これまでもElasticSearchというのが流行ってたりとか Splunkっていうツールを小耳にはさんだりとかで 「ログ収集・分析」みたいな分野は気になっていた。 Fluentd + ElasticSearch + Kibana この組合せ、流行ってるみたいね。 ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ http://www.slideshare.net/y-ken/elasticsearch-kibnana-fluentd-management-tips fluentd + elasticsearch + Kibanaでログのヴィジュアル化 http://open-groov
【第26回Elasticsearch勉強会】Logstashとともに振り返る、やっちまった事例ごった煮
This document discusses messaging queues and platforms. It begins with an introduction to messaging queues and their core components. It then provides a table comparing 8 popular open source messaging platforms: Apache Kafka, ActiveMQ, RabbitMQ, NATS, NSQ, Redis, ZeroMQ, and Nanomsg. The document discusses using Apache Kafka for streaming and integration with Google Pub/Sub, Dataflow, and BigQuery
[レポート]Elasticsearch、Kibana、Logstash で始めるログ解析入門 | DevelopersIO
こんにちは、菅野です。 2016年6月17日〜18日にかけて開催されていたオープンソースカンファレンス2016 Hokkaidoへ行ってきました。 18日10:00からのセミナー「Elasticsearch、Kibana、Logstash で始めるログ解析入門」を聴講してきましたのでそのレポートです。 ロゴ入りのガム（懐かしい）をもらいました。 講師 Elastic 大谷 純（おおたに じゅん）氏 アジェンダ Elastic stack 紹介 Logstash - Log収集 Elasticsearch - 検索・分析 Kibana - 可視化 商用プラグイン紹介 Elastic stack 紹介 ・AWS とはパートナーというわけではない Logstash Log収集 rubyで描かれている 実行はJRuby 設定は以下の3つに分かれている input 何から取り込むか指定する filt
![[レポート]Elasticsearch、Kibana、Logstash で始めるログ解析入門 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/4e68f59e18e161251929eeffe2a308eec30e775e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F03%2Felastic_search.png)
JJUG CCCや第7回Elasticsearch勉強会のKibana4のデモにアクセスログを利用しました。 ただ、セッションでは、どうやってElasticsearchに投入したのかという詳しい話をしていませんでした。 本記事では、データ取り込み時に利用したLogstashの設定ファイルについて説明します。 Logstashの設定の説明に入る前に、全体の流れを。 「ApacheアクセスログをKibana4により可視化」です。 材料の準備 「ApacheアクセスログをKibana4により可視化」に必要な材料は次の通りです。 （今回は起動するところまでいかないので、実際に必要なのは次回以降になります。） Java 7（u55以上を1つ） Logstash 1.4.2（1つ） Elasticsearch 1.4.0（1つ） Kibana4 Beta2（1つ） Apacheのアクセスログ（適量）
このエントリはFluentd Advent Calendar 2015の12月25日分の記事です。4日遅れ! で、本題ですが、もうタイトルそのまんま、logstash-output-fluentd を作りました。 logstash-output-fluentd | RubyGems.org | your community gem host tagomoris/logstash-output-fluentd · GitHub How to install / use 先日書いたものと全く一緒ですが、いちおう書いておきます。 とりあえずインストール。 $ bin/plugin install ../logstash-output-fluentd-0.1.0.gem Uninstalling logstash-output-fluentd Validating ../logstash-outp
Elastic社公式の Docker イメージに Logstash が追加されていました | DevelopersIO
こんにちは、藤本です。 以前、下記エントリで Elastic社公式の Docker イメージをご紹介しました。 Elastic社公式のDockerイメージ(Beta版)が提供されるようになりました 当時は Elasticsearch、Kibana のイメージのみが提供されていましたが、Logstash のイメージも追加されていたようです。 Elastic 社のドキュメントにも利用方法が記載されています。 Running Logstash on Docker 試してみた 環境 今回はローカルの Docker for Mac を利用しています。 Docker for Macに関しては以下のエントリをご参照ください。 Public BetaになったDocker for Macを使ってみる Logstash のコンテナを起動する 下記パスがイメージのパスとなります。 docker.elastic.
LogZoom, a fast and lightweight substitute for Logstash
Today, we at PacketZoom are proud to release our open source tool LogZoom, a fast, lightweight, and reliable log data indexer written in Go. If you've ever considered using Logstash, Fluentd, or some other tool for log aggregation, you may want to consider using LogZoom instead. Here are a number of resources for getting up and running with LogZoom: Home page Binary release for Ubuntu 14.04 Exampl
[速報]Elastic Stackの新バージョンがリリースされました（Elasticsearch2.3、Logstash2.3、Kibana4.5、Beats1.2） | DevelopersIO
[速報]Elastic Stackの新バージョンがリリースされました（Elasticsearch2.3、Logstash2.3、Kibana4.5、Beats1.2） はじめに 藤本です。 本日（現地時間3/30）、Elastic Stackの新バージョンがリリースされました。 つい二ヶ月弱前に新バージョンがリリースされたばかりなのに、もう新バージョンですよ。リリースペースが早いのは開発者にとっては嬉しい限りですね。一方でバージョンアップどうする？的な悩みも出てきますが。。 Elastic{ON}2016のセッションで紹介されていた機能もいくつか盛り込まれています。 Release Bonanza! Elasticsearch, Graph, Shield, Watcher, Marvel, Logstash 2.3, Beats 1.2, and Kibana 4.5 are Now A
手元にあるファイルをログサーバーとかを通さずに elasticsearch に取り込みたくなりました。fluentd だと、不特定多数のログをバッチ的に処理するのは不向きな気がしたので、ただのコマンドラインツールとして使える logstash を使ってみました。 あまり紹介記事も見ないので、logstash の簡単な紹介もしてみます。とはいえ触り始めてから2日くらいしかたってないので、いろいろ間違ってるかもしれません。 logstash とは logstash のトップページにはこんな風に書いてあります。 logstash is a tool for managing events and logs. You can use it to collect logs, parse them, and store them for later use (like, for searching).
How To Install Elasticsearch, Logstash, and Kibana (ELK Stack) on Ubuntu 14.04 | DigitalOcean
Introduction In this tutorial, we will go over the installation of the Elasticsearch ELK Stack on Ubuntu 14.04—that is, Elasticsearch 2.2.x, Logstash 2.2.x, and Kibana 4.5.x. We will also show you how to configure it to gather and visualize the syslogs of your systems in a centralized location, using Filebeat 1.1.x. Logstash is an open source tool for collecting, parsing, and storing logs for futu
ELK(ElasticSearch, Logstash, Kibana)+fluentdの環境をDocker Composeで構築しつつ、試しにCloudWatchの統計データを収集してみた - Qiita
表のDockerについて。。。 Engineはいわゆる普通のDocker。Dockerの実行環境です。 MachineはローカルやAWSなどの別環境にDockerのホストマシンを構築するツール。 通常、MacやWindowsでDockerを使う場合は、このMachineを用いて、ローカルのVirtualBoxにDockerホストのVMを作って、それに対して、dockerコマンドを実行していきます。 Composeは複数のコンテナのパラメータをYAMLファイルに記述しておいて、ワンボタンで環境構築するものです。 はじめにdockerの環境を整えておく Dockerで構築しておくと何度も同じインストール作業をしなくてよくなります。 MacだとDocker Toolboxをインストールすれば、Docker Engine, Machine, Composeの準備がすべて整います。 https://
こんにちは。ここに初めて登場するエンジニアの北野です。業務の半分くらいがエンジニアで、エンジニアとしてクローラーの開発とサーバー運用などを行っています。今回はカメリオを動かしているサーバーのログ、イベント収集と解析・表示をどのように行っているかを書きたいと思います。 カメリオを動かすサーバー構成 最初に白ヤギではカメリオをどのようなサーバー構成で動かしているのかを説明します。 カメリオのサービスを提供するために利用しているサーバーは現在全てAmazon Web Service上で動かしています。 かなり省略した図になりますが四角い部分がサーバーを表しています。現在は次のような３つの機能を持つサーバー群 フロント用APIサーバー 記事検索・タグ付けサーバー 記事クローラーサーバー などと、この図には無い サーバー監視とログ収集・解析を行うサーバー の大きつ４つのサーバーを稼働してサービスを提
Scala + logstash-logback-encoder でJSONログを出力しよう! - FLINTERS Engineer's Blog
こんにちは、門脇(@blac_k_ey)です。 Tetris99に進捗を奪われるのが趣味です。 … 最近、アプリケーションログ周りを整えるお仕事をしておりまして、 その中で logstash-logback-encoder というライブラリを触りました。 使い心地がとても良かったので、今回はScalaアプリケーションでこれを利用する方法をご紹介したいと思います。 logstash-logback-encoderとは JSONでログを出力することの嬉しさ 前置き logstash-logback-encoderを使うための設定 ライブラリ依存を追加する Logbackを設定する logstash-logback-encoder を使ってログを出力する Hello, Logging with JSON! JSONに静的なフィールドを追加する フィールドを動的に追加する StructuredAr
fluentd から elasticsearch の複数の logstash 形式 index にログを送る為のメモ - ようへいの日々精進XP
はじめに fluentd から elasticsearch にログを送る際に logstash 形式で送るのがお手軽 デフォルトでは logstash-YYYY.MM.DD という名前のインデックスが一つしか作られない でも、この形式で複数のインデックスを保存したい場合どうするの？ 複数のインデックスは不要だけど elasticsearch の type を分けることで kibana からそれぞれにアクセスすることも可能 こうする logstash_prefix を使う fluent-plugin-elasticsearch の logstash_prefix を使う。 <source> type tail path /var/log/nginx/access.log pos_file /tmp/nginx.pos tag nginx.access format nginx </sourc
Search and analytics, data ingestion, and visualization – all at your fingertips.
概要 logstash で複数のホストからログを収集する手順を試してみる 複数ホストから収集する場合に redis を broker（ブローカー = 仲買人）として利用されている fluentd から Redis を扱う場合の参考にする あらためて構成を確認する それぞれの役割を整理してみる。 名前（上図） 役割 メモ shipper broker にログを送る 意味として荷主 broker shipper から送られたログを一時的に保管、選別し indexer に渡す 意味として荷仲介人、ここで Redis が使われる indexer broker から渡されたログを elasticsearch や storage に渡す 検索エンジンとしては Elasticesearch が使われる。また、Storage としては Plugin を見ると Amazon S3 等も利用出来る。 試す ※
logstashでELBのログを2週間分だけAmazon Elasticsearch Serviceに取り込む | DevelopersIO
はじめに こんにちは植木和樹＠上越妙高オフィスです。本日はAmazon Elasticsearch Serviceのお話です。 Webシステムで問題が発生した場合には、まずELBのログを調査することが多いかと思います。HTTP_5xxエラーの件数とか、日時とか、頻発しているパスとか。ログの量が少なければgrep, awkあたりで集計するのですが、量が多かったり分析の視点が多かったりする時にはツールのお世話になりましょう。 AWSではElasticsearch Serviceが提供されており、グラフィカルなログ分析もKibanaを使ってすぐに始められます。ただ、まずはS3に溜まった（大量の）ELBログファイルをElasticsearchに取り込む必要があります。 今回はログの取り込みにlogstashというツールを使ってみました。 環境構築手順 Elasticsearch Serviceクラ
ログ収集してデータ化するツールとして、fluentd という有名なツールがあるが、今回は、ほぼ同じ事ができて、Windows でのインストールや設定が、より簡単な logstash を動かす。 インストールと利用方法、特に、正規表現とRubyスクリプトによる入力文字列のパースとフィールド追加、Windowsでのバックグラウンド起動について扱う。 logstash も動作のエンジンには、Ruby スクリプトを利用しているが、JRubyが同梱されているので、Javaさえインストールされていれば、Ruby をインストールしていなくても、パッケージをダウンロードし展開したら、すぐに利用できる。 fluentd と比べると、プラグインが若干少ないが、必要十分なプラグインは揃っているし、比較的簡単なRubyスクリプトを書けば、入力も出力も拡張できる。 logstash のダウンロードと動作テスト lo
Search and analytics, data ingestion, and visualization – all at your fingertips.
Logstash に Dead Letter Queue の機能が追加されました | DevelopersIO
こんにちは、藤本です。 現地時間 7/6 に Elastic Stack 5.5.0 がリリースされました。 Elastic Stack 5.5.0 released Elasticsearch 5.5.0 released Kibana 5.5.0 released Logstash 5.5.0 released Elasticsearch for Apache Hadoop 5.5.0 いくつか Elastic Stack 5.5.0 の新機能を試していますのでその他記事は下記をご参照ください。 Grok の構文を検証する Grok Debugger を試してみた #Kibana Kibana 5.5.0 の新機能の Region Map を試してみた Kibana 5.5.0 の新機能の Region Map を試してみた 今回は Logstash 5.5.0 で実装された Dead
Logstash にデータロストを防ぐ キュー永続化機能（Beta）がリリースされました ｜ Developers.IO
こんにちは、藤本です。 先月に Elastic Stack の 5.1.1 がリリースされました。その中で Logstash にキュー永続化機能のベータがリリースされていたので試してみました。 Logstash 5.1.1 released Logstash とキュー永続化 Logstash はインプット → フィルター → アウトプットと大きく 3つの処理でデータ転送を行います。例えばインプットはファイルからデータを取り込だり、AWS の S3 からオブジェクトを取り込んだり、JDBCを利用してデータベースへクエリを投げてデータを取り込んだりすることができます。フィルターはアクセスログといった決まった形式のログメッセージをフィールド分割したり、任意の日時フォーマットを異なる日時フォーマットに変換したり、フィールドを追加／複製／削除したりすることができます。アウトプットは Elastics
Logstash Plugin for Amazon DynamoDBを使ってDynamoDBとElasticsearchを同期する | DevelopersIO
Logstash Plugin for Amazon DynamoDBを使ってDynamoDBとElasticsearchを同期する はじめに AWS Official Blogにて、Logstash Plugin for Amazon DynamoDBという面白いツールが発表されました！ New Logstash Plugin – Search DynamoDB Content using Elasticsearch 要は、Amazon DynamoDBに入れたデータをLogstashのpluginを使ってDynamoDB streamsから取得します。LogstashなのでそのままElasticsearchにデータを突っ込めます。そうするとDynamoDBとElasticsearchのデータが同期できます。便利！ ということで早速やってみました！ 準備 DynamoDBのセットアップ
きっかけ fluentd + Elasticsearch + Kibana を試した流れで logstash というソリューション があることを知ったので試す logstatsh について Rebuild: 19: Accents, Git Workflow, Logging (sekimura) でも触れられていたのでちょっちタイムリー こちら 愛らしいｗ公式キャラが何とも言えない Kibana のログ収集を担っている Java が必要 JRuby で実装されている 検索エンジンに Elasticsearch が利用されている Plugin 方式を採用している Web UI が動く（Kibana 3 を使っている） スタンドアローンで動作させることも可能 一箇所で集中管理するようなソリューションもあり、以下のようなアーキテクチャで実装されている（図は拝借） 試してみる チュートリアル的な
ElasticsearchのLogstash形式インデックスをお手軽に削除するワンライナー - Y-Ken Studio
photo by Irina Souiki elasticsearchのlogstash形式インデックスを、定期的にcronで削除したいときに便利なワンライナーを紹介します。 使うコマンドはdateとcurlのみという大変シンプルなものですので、環境を選びません。 既存スクリプト 同様の目的を達成するためのスクリプトはいくつかあります。 いずれも、インストールやスクリプトの設置が必要なものです。 1. elasticsearch-curator elasticsearchが公式に開発している多機能な運用管理スクリプトです。 しかしながらPythonであることと、筆者のCentOS 6.5のPython 2.6環境ではうまく動きませんでした。 次のように利用します。 $ curator --host my-elasticsearch delete --older-than 14 --pref
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Logstash：データの一元化、変換、保管 | Elastic
Logstash を使って MySQL データを Elasticsearch にインデックスする（基本編）
Fluentd vs Logstash: A Comparison of Log Collectors | Logz.io
Logstashを使ったElasticsearchの再インデックス（日本語訳）
Logstashを利用したApacheアクセスログのインポート
LogstashからFluentdにデータを転送する - たごもりすメモ
logstash を使って手元にあるファイルを elasticsearch に取り込む - Qiita
Logstashを中心にしたカメリオのログ、イベントの収集・解析・可視化 | カメリオ開発者ブログ
Logstash: Collect, Parse, Transform Logs | Elastic
logstash を試す（2） - ようへいの日々精進XP
Windows でログ収集データ化ツール logstash を動かす - Qiita
ELK Stack: Elasticsearch, Kibana, Beats & Logstash
ELKで始めるElasticStack6入門 (Elasticsearch, Kibana, Logstash)
logstash を試す - ようへいの日々精進XP