Fluentd&Kinesis&Lambdaによる柔軟で高可用性なログ収集基盤の構築 - Qiita
概要 Fluentdによるログ収集基盤を、Lambda&Kinesisを利用した形で構成を変更したので、その時のメモ。 先に一言で感想を述べるのであれば、巷の噂通り、Kinesis&Lambdaは素敵でした。 Fluentd Aggregatorが抱える問題点 ログデータをFluentdのForwarder & Aggregatorを経由し、S3とRedshiftに保存するような構成でしたが、Aggregatorは冗長化しづらくボトルネックとなっていました。 ログ収集に求める要件 ログ収集の構成を改善するにあたり、先に挙げた目の前の問題点を解決するのは勿論ですが、他にも様々な要件があり、大別すると以下4つ。 信頼性: データをロスなく収集することができる。 安定性: ログ量に関係なく安定的なパフォーマンスを維持できる。 冗長性: 安全かつ簡単にスケーリングが可能 汎用性: 複数ログを複数サ
広告ログ解析基盤にFluentdを使っている話 - すずけんメモ
これはFluentd Advent Calendar 14日目の記事です。 私は現在、VOYAGE GROUPの子会社であるadingoで、DMP cosmiの開発をしています。今日はcosmiでのfluentd利用の話をしようと思います。 DMPについて 過去に勉強会でアドテクまわり及びDMPについて話したのでそれを貼っておきます。ざっというと、いい感じにいろんなログを受けいられるようにして、それらをモニタリングしながら整理して使えるようにする、という役割をもったプロダクトです。 Head First Ad Technology and DMP http://www.slideshare.net/suzuken/head-first-ad-technology-and-dmp どこで使っているか ほぼ全てです。構成としては ログ収集サーバ | | out-forward (roundro
Apache アクセスログを fluentd で S3 に保存する（修正版） - ようへいの日々精進XP
更新情報 S3 プラグインは別途インストールが必要と記載しておりましたが、@repeatedly さんのご指摘により S3 プラグインは標準で同梱されていることを確認致しました。誤った情報を記載してしまい申し訳ございませんでした...。また、@repeatedly さんご指摘有難う御座いました。 要件 Apache のアクセスログを fluentd を使って Amazon S3 に放り込んでみる メモ fluentd についてはこちら 環境 Apache 環境 Amazon EC2（Amazon Linux） 手順 yum のリポジトリを設定する vim /etc/yum.repos.d/td.repo[treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpg
fluentdを使ってS3へログを送る - サーバーワークスエンジニアブログ
テクニカルグループの宮澤です。 今回は、fluentdとS3を使ってS3にログをアーカイブする手順を紹介します。 fluentdとは、ログを収集し格納するためのログ収集基盤ソフトウェアです。 fluentdに読み込まれたログはJSON形式に変換され、指定の場所にアウトプットされます。 ※fluentdの安定稼働版はtd-agentとなります。 fluentdのインストール リポジトリの追加 __| __|_ ) _| ( / Amazon Linux AMI ___|___|___| https://aws.amazon.com/amazon-linux-ami/2013.03-release-notes/ $ sudo vi /etc/yum.repos.d/td.repo --- [treasuredata] name=TreasureData baseurl=http://packa
Store Apache Logs into Amazon S3 | Fluentd
This article explains how to use Fluentd’s Amazon S3 Output plugin (out_s3) to aggregate semi-structured logs in real-time. Table of Contents Background Mechanism Install Configuration Tail Input Amazon S3 Output Test Conclusion Learn More Background Fluentd is an advanced open-source log collector originally developed at Treasure Data, Inc. One of the main objectives of log aggregation is data ar
fluentdでログをS3に格納する – OpenGroove
fluentdをうっすらいじってみた。ほぼ参考サイトからの引用そのまんまなのだが、一応記録。 ログ格納用のS3バケットは適当な名前で作成しておく。実行環境もAWSマシンです。 TreasureDataレポジトリの追加。 $ sudo vi /etc/yum.repos.d/td.repo [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 tg-agentインストール $ sudo yum install td-agent -y $ sudo service td-agent start $ sudo chkconfig td-agent on タグを動的に扱うプラグインとプレースホルダを扱えるようにするプラグインを追加でインストール。
FluentdとRedshiftの素敵な関係
2015/11/12 Apache Drill Meetup Tokyo CyberAgent / AMoAd 渡部 優 ( Watanabe Masaru )
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Data Engineering at VOYAGE GROUP #jawsdays
AWS Redshift デザインパターン データロード編