楽しい可視化 ： elasticsearchとSpark Streamingの出会い | NTTデータ先端技術株式会社
0. ログやデータを取得した後は？ ログやデータの分析には、様々なアプローチが考えられるが、Apache Solrやelasticsearchといった全文検索エンジン製品にデータを蓄積し、その機能を用いて検索・集計・分析を行う方法がある。その際、データをそのまま蓄積するのではなく、各ツイート・各行に属性を付与（エンリッチメント）することにより、分析の幅は大きく広がる。 全文検索エンジンへのデータの投入では、Flume-ngやfluentdといったデータ収集製品を利用する実例が多い。しかし、リアルタイムにデータに対してエンリッチメントの前処理を行おうとした場合、処理が複雑になるにつれ、単体サーバーで動作するFlume-ngやfluentdでは処理能力が頭打ちになってくる。そこで、登場するのが、リアルタイムに大量のデータを処理することができるストリーミング処理系のビッグデータ関連技術である。
[初心者向け] fluentd Elasticsearch Kibanaが結局何か分からないやつはここを見ろ – o24ブログ
Apacheのログを解析しようと思い、色々とググってみたところ、 fluentd (td-agent), Elasticsearch, Kibanaというキーワードが頻出しました。 上記3つを組み合わせると、ApacheのログがシャレオツなUIで見れるということはすぐ理解できたのですが、 それぞれが結局何をするものなのか分からなかったので簡単にまとめてみました。 使ってみたいけど、いまいち仕組みが分からないって方は読んでみてください。 fluentd とは fluentd 様々なログフォーマットを指定したサービスのフォーマットに整形してくれます。 今回の場合は、Apacheのログを、Elasticsearchの入力フォーマットに整形してくれます。 fluentdの動作イメージ(公式より転載) fluentd は Apache や Nginxのログを Elasticsearchのフォーマット
![[初心者向け] fluentd Elasticsearch Kibanaが結局何か分からないやつはここを見ろ – o24ブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/e7347a83bccb965f96915111bdc805e845552d0e/height=288;version=1;width=512/https%3A%2F%2Fi0.wp.com%2Fblog.o24.me%2Fwp-content%2Fuploads%2F2014%2F02%2Ffluentd.png%3Ffit%3D677%252C329)
ArduinoからEthernetで直接fluentdにPOSTする
ArduinoにEthernet Shieldを載せることで、Arduinoから直接各種サーバにデータを送ることができるようになります。ArduinoでA/D変換した電圧値をfluentdに送付することで、簡易ロガーとして活用することもできます。 fluentd側 Ethernet経由で受信するだけなので in_http が動くようにします。サンプルどおりで大丈夫です。 Arduino側 fluentd の in_http はPOSTで受け取るので、サイトのWebClientを参考にしてPOSTを送信するスケッチを作成します。 servername：fluentdサーバのドメイン名 or IPアドレス serverPort：fluentdサーバのポート pageName：fluentdに送信する際のタグ(スラッシュ含む) params：fluentdに送信するJSON(json=で始まる)
suz-lab.com - suz lab リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MQTTからのログをfluentdで回収する - Qiita
