SIOS ビッグデータ技術ブログ: アクセスログをTreasure Dataに送ってみよう
SSTDの大村です。GWのど真ん中ですが、いかがお過ごしですか？後半の４日間は子供でも連れてどこかに出かけたいなと思っています。ゴリラにはまっている娘のためにゴリラがいる動物園に行こうか、息子のために遊園地に行こうか、両方は体力とお財布が。。と思案中です。結局、近所の公園でサッカーとかして終わらせたい。。。と全国の親御さんたちと同じ気持ちです。 さて、みなさんfluentdってご存知ですか？トレジャーデータ社の古橋さんが作られたOSSのログ収集ツールです。詳しくは古橋さんのブログをご覧ください。このfluentdですが、多くの方に愛されて成長し続けています。今回はfluentdでWebのアクセスログを移動し、Treasure Dataにアップロードする方法のご紹介をさせていただきます。 fluentdでアクセスログを集めよう インストール では、fluentdをインストールしてみましょう！
クイックスタートガイド | Fluentd
さあ、 Fluentd を使ってみましょう！ Fluentd は125種類以上のシステムで瞬時に ‘Log Everything’ アーキテクチャを提供する完全に自由で完全にオープンソースのログ収集システムです。Fluentdはログを(コンピュータにとって可読性の高いフォーマットとして人気の)JSONとして扱います。また、C言語とRubyによる薄いラッパーで書かれており柔軟性があります。 Fluentdの性能は実際に立証されています。もっとも大規模なユーザーは 5000台以上のサーバー から一日あたり5TB以上、ピークタイムには秒間50,000メッセージにものぼるログを収集しています。 Table of Contents Step1: Fluentdをインストールする Step2: 使いこなす Step3: さらに知る Step1: Fluentdをインストールする ご使用の環境に合わせて
Amazon LinuxにFluentdをインストールしてS3とMongoDB連携する ｜ Developers.IO
あらゆるログを収集する 昨年あたりからfluentdという名前をよく耳にするようになりました。弊社での実際のプロジェクト活用が出てきています。そこで今回は備忘録としてセットアップからプラグインのインストール等の基本的な手順を紹介したいと思います。 セットアップ Amazon Linuxにインストールするためにリポジトリを設定して簡単インストールします。 $ sudo vi /etc/yum.repos.d/td.repo [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 yumでインストールにて自動起動設定します。 $ sudo yum install td-agent -y $ sudo service td-agent start
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Data Import from Python Applications | Fluentd
