新宿Geek Lounge#4 分析基盤Meetup ver2での発表資料です。 https://shinjuku-geek-lounge.connpass.com/event/83127/
Kafka/Fluentd/Sparkを用いたデータ分析基盤の運用話 by ペンギン愛好家 さん - niconare
新宿Geek Lounge#4 分析基盤Meetup ver2での発表資料です。 https://shinjuku-geek-lounge.connpass.com/event/83127/
fluentd のソースを読む (1) - @kyanny's blog
fluentd のソースを読み始めました。単なる趣味です。 経緯: fluentd の exec buffered output plugin を試してみたらflush_interval を短くしても USR1 シグナルを送ってもバッファが flush されず command が実行されなくて悩んでいたらTimeSlicedOutput はスライスの時間が経過しないとバッファから出てこないと教えてもらい、ソースを読んでちゃんと理解したいと思ったため、です。 とはいえ plugin/out_exec.rb をいきなり読んでもさっぱりわからなかったので、順を追って読んでみることにします。 まずは bin/fluentd を実行すると fluend が起動するところまで。 bin/fluend は fluend/command/fluentd.rb を実行してるだけ fluent/command
fluent-plugin-s3で、time_slice_format %Y%m%dにしてても、一日に複数ファイルがでてくる件
Sadayuki Furuhashi @frsyuki 大丈夫です。それ今さっき @kzk_mover が足したドキュメントです…！ RT @Spring_MT: bufferのことちゃんｔ書いてあった、、 すみません http://t.co/Sf0DNXTi #fluentd 2012-11-27 14:17:53 Sadayuki Furuhashi @frsyuki たぶん out_file で compress gz を指定した場合も同じ。デフォルト 8MB だと小さすぎるかな。TimeSlicedOutput で buf_file だったらデフォルト値を 200MB くらいにするべきだろうか… #fluentd 2012-11-27 13:03:41 Sadayuki Furuhashi @frsyuki buffer_chunk_limit は 8MB なのだけど、出来上がるフ
Fluentdにおけるログ運用 - Qiita
Fluentdとは こんな感じ (引用: http://codezine.jp/static/images/article/6958/6958_02.gif) セットアップ Railsのログと、ウェブサーバの標準的なログを、S3に集約する構成 fluentdのエージェントのインストールは、下記URLから、各ディストリビューション別にチュートリアル閲覧可能 http://docs.treasuredata.com/articles/td-agent#install-td-agent conf <match *.**> type forest subtype s3 <template> aws_key_id xxx #IAMでS3への書き込み権限をもったものを指定(後述) aws_sec_key xxx #IAMでS3への書き込み権限をもったものを指定(後述) s3_bucket fluent
スマホ用ゲームを開発してみた 第11回 -Ansible用YAMLファイル解説 [monitoring]- - 技術いろいろ勉強メモ
2014-07-02 スマホ用ゲームを開発してみた 第11回 -Ansible用YAMLファイル解説 [monitoring]- Ansible スマホアプリ インフラ ブログ移転しました！！！ 新URL(http://blog.gogo-games.com/) 開発したゲームについて。 前回からの続き。 roles/monitoringの設定を解説。 今回のYAML解説記事のリンクはこちら。 全体 role:common role:webserver role:dbserver role:mailserver role:monitoring Ansible Configuration Management作者: Daniel Hall出版社/メーカー: Packt Publishing発売日: 2013/11/22メディア: Kindle版この商品を含むブログを見る m
![スマホ用ゲームを開発してみた 第11回 -Ansible用YAMLファイル解説 [monitoring]- - 技術いろいろ勉強メモ](https://cdn-ak-scissors.b.st-hatena.com/image/square/87937112fb1b3890993c0860db63e9e2c2540d01/height=288;version=1;width=512/http%3A%2F%2Fecx.images-amazon.com%2Fimages%2FI%2F51q9u95XARL._SL160_.jpg)
Fluentd vs Logstash ·
Blog Projects Jason Wilder's Blog Software developer and architect interested in scalability, performance and distributed systems. Fluentd vs Logstash Nov 19, 2013 · 6 minute read · Comments logging realtime fluentd logstash architecture Fluentd and Logstash are two open-source projects that focus on the problem of centralized logging. Both projects address the collection and transport aspect of c
Amazon LinuxにFluentdをインストールしてS3とMongoDB連携する ｜ Developers.IO
あらゆるログを収集する 昨年あたりからfluentdという名前をよく耳にするようになりました。弊社での実際のプロジェクト活用が出てきています。そこで今回は備忘録としてセットアップからプラグインのインストール等の基本的な手順を紹介したいと思います。 セットアップ Amazon Linuxにインストールするためにリポジトリを設定して簡単インストールします。 $ sudo vi /etc/yum.repos.d/td.repo [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 yumでインストールにて自動起動設定します。 $ sudo yum install td-agent -y $ sudo service td-agent start
fluentd tailプラグインの仕様について - oranie's blog
ウィークリーFluentdユースケースエントリリレー #1の記事です。 fluentdを使う上で最も多くの人が使うであろう基本中の基本、tailプラグインの仕様を日本語にした内容＋以前教えてもらった内容をまとめてみます。 公式ドキュメント：http://fluentd.org/doc/plugin.html#tail Github：https://github.com/fluent/fluentd/blob/master/lib/fluent/plugin/in_tail.rb tailプラグインはLinuxコマンドで言う「tail -F」と同じような挙動を取る事により、ファイルに追記された情報をfluentd内に取り込む事が出来ます。追記されたかどうかはIOイベントを読み取って動作します。 簡単に説明すると 1)新規に設定されたファイルは終端から読む 2)ログローテーションされたら次のフ
S3とFluentdを用いた効率的なログ管理 | SmartNews開発者ブログ
ゴクロの大平です。 私にとって一番大事で替えの効かないミュージシャンはさだまさしさんですが、私にとってクラウドコンピューティングのサービスの中で一番大事で替えが効かないサービスはS3です。 多種多様なAPIを用いて柔軟にファイルの操作が出来る事や、”99.999999999％”と謳われている高い耐障害性、S3にあるデータをElastic MapReduceやRedshiftなどを用いて手軽にデータ解析を行える基盤が提供されていることなど、あまりに便利すぎてS3の代替となるサービスを探しだすのが難しい状態です。 もちろん多くのAWSユーザーが同じようにS3の便利さを享受していると思いますし、インターネット上でも多くのブログ等でその魅力が語られています。その中で本記事は既に存在する記事と似たような内容を書いてしまうかもしれませんが、弊社なりのS3の使い方についてご紹介したいと思います。 なお
Fluentdの仕組み -バッファ機能でログ収集漏れを防ぐ- - Tech-Sketch
OSSのログ収集管理ツールFluentdを用いてログを統合管理している場合の懸念点として、ログの収集漏れが考えられます。 Fluentdでは、バッファ機能を活用することでログを収集漏れすることなく確実に収集することができます。 このバッファ機能のメカニズムを理解すべく動作検証した結果を紹介します。対象とするFluentdのバージョンは0.10.30です。 Fluentdとは Ruby実装のOSSのログ収集管理ツールです。 Fluentdは、Input、Buffer、Outputの3つのコンポーネントで実現されています。 様々な場所からログを収集、JSON形式に変換し(Input)、蓄積(Buffer)、様々な出力先にデータ出力(Output)します。 例として、あるサーバ(server01)のApacheのアクセスログを別のサーバ(server02)内にファイルとして出力する場合
suz-lab.com - suz lab リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
ログ収集基盤のFluentdとFlume NG、どちらが使いやすい？
ログは、システムの障害解析（デバッグ）や運用モニタリングに使うことを想定して、コンピュータに発生したイベントの履歴を時系列に沿ってファイルに出力したものである。有用なデータではあるが、扱いにくい面がある。そのため、複数のログを突き合わせて分析するといった活用が難しく、従来はもっぱら一つのログを単独で利用するにとどまるケースが多かった。 扱いにくい面とは、例えば「ログを一括して処理するには対象ログを各サーバーから収集しなければならない」「ログはサイズが大きくなりがちなので収集する場合は一部を抜き出すなどの加工が必要」といったことである。ログに新たなデータが書き込まれた際に、それを即座に取り出す手段が用意されていないこともそうだ。 こうしたログの扱いにくさは、「ログ収集基盤」と呼ばれるソフトウエアを使うことで克服可能である。ログ収集基盤は、複数のログを結び付けて分析する際などに必要な、対象ログ
Fluentd + Hadoop: Instant Big Data Collection | Architects Zone
Fluentd is a JSON-based, open-source log collector originally written at Treasure Data. Fluentd is specifically designed for solving big data collection problem. Many companies choose Hadoop Distributed Filesystem (HDFS) for big data storage. [1] Until recently, however, the only API interface was Java. This changed with the new WebHDFS interface, which allows users to interact with HDFS via HTTP.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fluentdでログが欠損する可能性を考える : sonots:blog
Fluentd ソースコード完全解説 (v0.10向け)
Fluentd ソースコード完全解説 at RubyKaigi2014 : sonots:blog
fluentdを使ったログ監視 〜 Haikanko OSS化への道(3) : sonots:blog
Fluentd
Logをs3とredshiftに格納する仕組み
fluentd を利用した大規模ウェブサービスのロギング
