Fluentdと戯れる - サーバーワークスエンジニアブログ
カメラマン兼プログラマー(ぶちょお兼取締役談)の竹永です。 カメラのレンズを購入していなかったら、洗濯機が買えていたことに最近気がつきましたが、反省も後悔もしていません。良い子は真似しないでください。 さて、僕の近頃の業務はビッグデータやBIなど、レイヤーが上であっち方向の検証業務が多めです。 検証するためにはあっち系ツールの他に、日頃から発生しているデータをたくさんかき集めないといけませんが、そんなデータをローカルに持っているわけがありません。 ということで、社内と雲の上に転がっている色々なものから、色々なデータをかき集めることにしました。 前提条件 相変わらずEC2上のAmazon Linuxで検証しています。 それぞれのバージョンは以下のとおりです。 amzn-ami-hvm-2015.09.0.x86_64-gp2 (ami-9a2fb89a) Fluentd v2.2.1 (td
fluentdインストール（丁寧な説明つき） - Qiita
fluentdのインストール方法はたくさんある。 RPMパッケージからFluentdをインストールする (Redhat Linux) DEBパッケージからFluentdをインストールする (Debian / Ubuntu Linux) DMGパッケージからFluentdをインストールする (Mac OS X) Ruby GemからFluentdをインストールする ChefでFluentdをインストールする ソースコードからFluentdをインストールする Heroku上にFluentd (td-agent)をインストールする AWS Elastic Beanstalk上にFluentd (td-agent)をインストールする これらは公式HPにまとめて載っている。 ▼公式HP http://docs.fluentd.org/ja/categories/installation 本ブログでは
fluentdを利用してsshログインを通知する · さよならインターネット
December 12, 2014 sshを利用していると招かれざる客の来訪が多い。 また、サーバに不必要にログインしている関係者がいないか 把握しつづけるのも難しい。 今回はfluentdを利用して簡単にログイン周りの通知をSlackに流してみる。 準備 /var/log/secureはパーミッションが厳しいので y-kenさんのブログを参考にパーミッションを変更する必要があります。 Fluentdでsyslogを取り込むための権限設定（CentOS 5&6両対応） - Y-Ken Studio SlackのAPIがバージョンアップしてリアルタイム性を持つようになった。 A new Slack API: The inevitable rise of the bots Bots 個人的にはリアルタイム性よりも private roomでもhubotが利用できるようになったのいうのがアツい。
Fluentdが流行る理由がいま分かる、10の実践逆引きユースケース集 - Y-Ken Studio
ログデータを活用してビジネスに役立てようという最近のトレンドは理解できる。 しかし、なぜログ収集ソフトウェアのFluentdがこれほどまで話題になるのか、不思議に感じている方もいるのではないだろうか。単にログデータを収集するならばsyslog-ngやrsyslogで十分ではないかという意見もあるだろう。 それらは既存のログシステムを置き換えるプロダクトであり、Fluentdのそれとは根本的に異なる。Fluentdは、既存のログシステムに手を入れることなく新たにログの収集を行い、ストリームデータ処理を実現するプロダクトなのである。 一般的にログデータはサーバの数だけ分散しており、それを定期実行処理で収集するということだけでも、なかなか骨の折れる仕事である。さらに集めるだけでなく、日々増え続けるログデータを活用できる形に加工してしかるべきデータストアに保管するということに挫折した方もいるのでは
fluentdを使ってS3へログを送る - サーバーワークスエンジニアブログ
テクニカルグループの宮澤です。 今回は、fluentdとS3を使ってS3にログをアーカイブする手順を紹介します。 fluentdとは、ログを収集し格納するためのログ収集基盤ソフトウェアです。 fluentdに読み込まれたログはJSON形式に変換され、指定の場所にアウトプットされます。 ※fluentdの安定稼働版はtd-agentとなります。 fluentdのインストール リポジトリの追加 __| __|_ ) _| ( / Amazon Linux AMI ___|___|___| https://aws.amazon.com/amazon-linux-ami/2013.03-release-notes/ $ sudo vi /etc/yum.repos.d/td.repo --- [treasuredata] name=TreasureData baseurl=http://packa
fluentdの簡単な使い方、設定方法一覧
fluentdはログの転送・集約を簡単に行うためのツール fluentd ログの転送・集約を行うためのツール。複数台のサーバーを運用している時にそれぞれのサーバーにたまるログを、簡単な記述で特定の場所に集約できる。 今までは同じことをどうやって実現していたの？ バッチでコピーしたり、似たようなことをやるScribeというツールを使っていた。この方法だと、設定が複雑になりがちだし、バッチだとリアルタイムに処理することができなかった。 fluentdの利点は？ 設定が簡単、かつリアルタイムに処理できること。fluentdを使うとバッチではなくリアルタイムなストリーミング処理ができる。 fluentとfluentdのどっちの読み方が正しいの？ 一応、fluentdが正しいっぽいです。 fluentdのインストール方法 簡単なのは、GemやRPMを使ったインストール。yumでのインストールも自分で
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
