何故、fluentdなのか？ - プログラマでありたい
最近、fluentdという言葉を聞くことが多いと思います。fluentdは、それぞれのサーバからログを収集し集約する為のアプリケーションです。fluentdは「Log everything in JSON」を合言葉に、全てのログをJSON形式で扱います。また一緒に聞くキーワードとしては、大規模とかリアルタイムとかがあると思います。この時点で関係ないやと思って、興味を失った人も多いと思います。しかし、今後のログ管理は、fluentdが主流になるか解りませんが、同様の集約するフレームワークが中心になると思います。 何故、fluentdが必要か？ まずはオンプレミスの世界から見て行きましょう。ログはサーバーにたまり、管理者はサーバにログインしてログを参照します。特に問題はありません。 次にAutoScalingを使わないAWSの世界です。これも同様に、ログはサーバーにたまり、管理者はサーバにログ
Fluentdで始めるリアルタイムでのログ有効活用
はじめに Fluentdは、ログを収集し格納するためのログ収集基盤ソフトウェアです。Fluentdにインプットされた、すべてのログをJSONに変換し、アウトプットします。インプットとアウトプットはモジュール化されており、モジュールを追加することでインプット元とアウトプット先を追加できるようになっています。 Fluentdは急速に知名度を高め、多くのWebサービス会社で実際に使用されるようになりました。従来のログが抱えていた問題も、Fluentdが適切な解決策となっていると認知され、かつ簡単に導入・スモールスタートできるミドルウェアであったことが大きかったと思います。 本稿では、Fluentdの簡単な仕組みと導入方法、シンプルな動作事例について紹介します。 対象読者 システム管理者 データサイエンティスト 必要な環境 UNIX系OS Ruby 1.9 ログを出力する理由 システム運用を始める
Treasure Data - naoyaのはてなダイアリー
少し前にログの話を書いた http://d.hatena.ne.jp/naoya/20130219/1361262854 ときに、Treasure Data については後日にもう少し詳細に書くと言ったので書くとしよう。 近頃 Treasure Data (以下、時折 TD) という名前をちらほら聞いたことがある人は多いのではないかと思います。「ビッグデータのクラウドサービスである」とか「日本人が創業したシリコンバレーのベンチャー」、あるいは Yahoo! 創業者の Jerry Yang が投資したとか、Fluentd と何か関係があるといった文脈などなど。 けど、具体的に Treasure Data がどういうサービスで、どういう機能を持っていて、どんな場面で利用されるものなのかはまだあまり良く知られていないかもしれない･･･ようにも見える。今日はその辺から少し紹介していこうかなと思う。
cron で > /dev/null して椅子を投げられないための3つの方法 - 酒日記 はてな支店
(タイトルは釣りです) いい加減、>/dev/null 2>&1と書くのをやめたらどうか - DQNEO起業日記 この記事のタイトルが twitter で流れてきたのを見て、「そうだ！出力を /dev/null に捨てるなんてとんでもないよね！」と思ってよく読んだら /dev/null に間違いなく捨てる方法だったのでつい crontabに > /dev/null 書いたら椅子投げる 2012-06-13 00:01:17 via YoruFukurou とつぶやいてしまったのですが、では出力を捨てないためにはどうすればいいのか。現時点での個人的ベストプラクティスを書き留めておきます。 デフォルト : メールで送る (MAILTO) せっかく cron daemon がログを捨てないためにわざわざメールで送ってくれるのに、それを > /dev/null で踏みにじるとはひどい。 とはいえ、
会員が行うアクションの継続率を出すには - yo-11-06の日記
1.対象となる期間のIDを出す 例えば月毎の継続率を見たい場合、 月毎に投稿をしたユーザのIDを抽出してファイルに保存します。 2011-01.log 2011-02.log 2011-03.log 2011-04.log ... みたいな形で保存しておくと楽ですね！ で、この際に必ず重複は消しておいてくださいね。 2.さっき作ったファイルを全てソートするここで何でソートするのかっていうとlinuxのあの変なソートが使いたいからね。 linuxコマンドのsort 3.実際に継続しているかどうか調べる 1月に使ってた人 2011-01.log 2月に使ってた人 2011-02.log ってな感じでデータが入ってるわけだけど、 継続しているかどうか調べるために、 1月に使ってたけど2月にも使ってた人ってのを出すわけ。 それがこの下の紫の部分です！ で、どうやってそれを出すのかって話なんですけど
vsftpd.logがログローテートされない。
かなり久しぶりにFTPを利用しなければならい状況になり、サービスを立ち上げて、ポートを開放しました。 で、数日経過するとログが肥大化されており、old fileが作成されていないことが判明。 早速 logrotate のconfファイルを確認。 [root@fedoracore4 ~]# vi /etc/logrotate.conf # RPM packages drop log rotation information into this directory include /etc/logrotate.d 保存場所がわかったので、中身を確認。 [root@fedoracore4 ~]# ls /etc/logrotate.d/ acpid httpd mgetty named ppp rpm snmpd syslog up2date yum cups kdm mysq
CakePHP ログ出力 | Sun Limited Mt.
CakePHP でログ出力させるメモです。 $this->log(ログに出力するメッセージ, ログ種別); 出力するメッセージは文字列でも配列でもかまいません。配列の場合は print_r されたものが出力されます。 ログの種別は LOG_DEBUG で debug.log 、 LOG_ERROR で error.log に出力されます。デフォルトは LOG_ERROR です。 ログファイルは LOGS で指定されたディレクトリへ出力されます。 デフォルトは /app/tmp/logs です。 ただこの定数 LOGS は cake/config/paths.php で指定されているので、app/config/core.php で定義されている定数のように気軽に変更しない方がいいかもしれません。 ログファイルが存在しない場合はファイルを作成してくれます。 出力されるログは下記のようになります
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
