インデックステンプレートとLogstash
前回の「Logstashを利用したApacheアクセスログのインポート」の続きです。 前回の記事では、Logstashの設定ファイルについて説明しました。 今回は「Elasticsearchに設定するインデックステンプレート」について説明します。 テンプレートの設定 Elasticsearchでは、登録するデータの特性に合わせてMappingを定義する方がデータを効率良く扱うことができる場合があります。 この場合、通常ですと、インデックス作成時にMappingを指定します。 ただ、今回は、インデックス名に「年」を含める形で指定してあります。 「年」はLogstashで処理したデータによって決まります。このため、あらかじめMappingを指定してインデックスを作成するのは難しいです。 このような場合に便利な機能として、「インデックステンプレート」があります。 インデックステンプレートとは 実
Elastic Stack で 何を可視化すれば性能改善が捗るのか？
2017/10/11 (水) 第21回Elasticsearch 勉強会で話したスライドです。 https://www.meetup.com/Tokyo-Elastic-Fantastics/events/243671140/
LogstashでApacheのログをElasticsearchに投入する方法 - Qiita
Logstashを使って、Elasticsearchにログを登録する方法を下記の通りまとめた。 再起動時のプロセスの自動起動についても手順の中に織り込み済み。 インストール ここを参考 https://www.elastic.co/guide/en/logstash/current/installing-logstash.html Yumリポジトリの登録 GPG-Keyの登録 sudo rpm --httpproxy 129.168.0.1 --httpport 7777 --import https://packages.elastic.co/GPG-KEY-elasticsearch viコマンドでYumリポジトリURLを追加 sudo vi /etc/yum.repos.d/logstash.repo [logstash-5.x] name=Elastic repository fo
Logstash を使って MySQL データを Elasticsearch にインデックスする（基本編）
リレーショナルデータベースで管理しているデータを Elasticsearch で検索・分析したい場合、Logstash が便利です。 Logstash とは？Logstash はオープンソースのサーバーサイドデータ処理パイプラインです。様々な数のソースからデータを取り込み、変換し、指定された任意のストア先にデータを格納することができます。 処理の内容はシンプルで、Input ステージでソース元の接続先情報を管理し、Filter ステージで変換をし、Output ステージで格納先接続先情報を定義します。Input 及び Output プラグインはデフォルトで様々なソースをサポートしています。そのため、Logstash を使えば、プログラミングレスで MySQL のデータを取り込み、変換し、Elasticsearch へインデックスすることができるのです。 事前準備MySQL と Elasti
Filebeat にモジュール機能が追加され、ログ可視化が簡単になりました #elastic #beats | DevelopersIO
Filebeat にモジュール機能が追加され、ログ可視化が簡単になりました #elastic #beats こんにちは、藤本です。 現地時間 3/28 に Elastic Stack 5.3.0 がリリースされました。 Elastic Stack 5.3.0 Released Elasticsearch 5.3.0 released Kibana 5.3.0 released Beats 5.3.0 released Logstash 5.3.0 Released Elastic Stack 5.3.0 は先日の Elastic{ON}17 のロードマップでも発表があった新機能がいくつか含まれていて胸熱でした！新機能が多かったので気になった機能を何回かに分けて試してみます！ 今回は Filebeat modules を試してみました。 Filebeat modules Modules El
LogstashとBeatsを利用してElasticsearchにデータ投入してみる - abcdefg.....
LogstashとBeatsを利用してElasticsearchにデータ投入してみたメモです。 Elasticsearch単体でのデータ登録、更新、削除を試してみたので、 LogstashとFileBeatを利用してデータ投入を試してみました。 下記のチュートリアルを参照しました。 www.elastic.co LogstashとBeats LogstashとBeatsはともにelasticのプロダクトで Beatsでログやリソースなどのデータ収集を行い、 Logstashの各プラグインでデータの加工やフィルタリングを行うという役割分担のようです。 今回はUbuntu上で現時点で最新版のLogstash5.2とBeats5.2を使ってみます。 Logstash インストール LogstashのインストールもElasticsearchやKibanaと同様にファイルをダウンロードして解凍するだ
15分で作る、Logstash＋Elasticsearchによるログ収集・解析環境 | さくらのナレッジ
たとえば、inputに「stdin」、outputに「file」というプラグインを使用すれば、標準入力からイベントを受け取り、それをファイルに出力することが可能となる。そしてLogstashが注目されている理由の1つのが、出力先として「Elasticsearch」が利用できる点だ。 検索機能に優れた分散型データベース「Elasticsearch」 Elasticsearchはオープンソースで開発されている分散型データベースシステムだ（図2）。「Elastic」という名前のため勘違いされやすいが、米Amazonが提供しているクラウドサービス「Amazon Elastic Compute Cloud（EC2）」とは無関係だ。 図2 ElasticsearchのWebサイト ElasticsearchはJavaで実装されており、またデータ検索エンジンとして「Lucene」が組み込まれているのが特
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
