Perl から Fluentd にログ出力 - Fluent::Logger リリース - 酒日記 はてな支店
皆さん、ログ書いてますか！？(挨拶) Fluentd meetup in Japan も開催間近、最近大変熱いイベントログ収集システム Fluentd なわけですが、Perl からログを出力する Fluent::Logger というモジュールを CPAN にリリースしたのでお知らせします。 (最初の版は id:hirose31 さんが書かれて、それに同僚の id:shin1rosei と手を加えたものです) インストールは cpanm などでどうぞ。使い方は POD にもあるように簡単です。 use Fluent::Logger; my $logger = Fluent::Logger->new( host => "127.0.0.1", port => 24224 ); $logger->post( "myapp.info" => { foo => "bar" } ); 上記の例で送信す
hansode.org - このウェブサイトは販売用です！ - hansode リソースおよび情報
このウェブサイトは販売用です！ hansode.org は、あなたがお探しの情報の全ての最新かつ最適なソースです。一般トピックからここから検索できる内容は、hansode.orgが全てとなります。あなたがお探しの内容が見つかることを願っています！
ログ解析についてつらつらと考えていること - wyukawa's diary
ログ解析についてつらつらと考えていることを書いてみたいと思います。 Hadoopを用いたログ解析によってマーケティングを変革し売り上げを向上させようという話はよくあります。 この手の話はたいていBtoCで例としてはメールでレコメンドして商品を買ってもらうとかですね。 ログ解析がどういうフローかというと、ログを埋め込んでログを収集して蓄積して解析してそのレポートを見て何らかの施策を打つ、という感じになります。 図にするとこんな感じ 今話題沸騰中の「Fluentd」はログ収集を担当します。といいつつ僕自身はFluentd使ったことないです。記事を読んだくらいです。 ちなみにどれぐらい話題沸騰中かというとこれぐらい定員オーバーしてます。すごすぎ。 クレジットカード現金化詐欺【業界人が教える口コミ情報】 ログ埋め込みはJavaならLog4j使って埋め込んだりするでしょう。 Apacheのアクセスロ
垂れ流されるログのおしりを追いかける - （ひ）メモ
滝のように流れるログは見ていて楽しいのですが、見ているばかりでは仕事にならないので、 https://github.com/hirose31/chase-tail というスクリプトを書きました。 機能はこんな感じで、 ログ中のきわどいキーワードに色をつけて目立たせる HTTPステータスの「50[0-9]」とかMySQLの「Lock wait timeout exceeded」とか 秒間にある一定行数以上ログが流れたら「NOTIFY_FLOOD」と出力する iTerm 2のPreferences→Profiles→AdvancedタブのTriggersにキーワードを登録しておくとGrowlで通知できるので、「NOTIFY_FLOOD」を登録しておけば、いつよりログがビャービャー流れたときにGrowlで知ることができます ちなみに、iTerm以外のアプリがフォアグラウンドでも、chase-ta
ログ解析飲み会 - wyukawa's diary
10/19（水）に都内某所でログ解析飲み会なるものを開催した。 ログ解析飲み会なのにログが無いってどういうこと？と某氏に突っ込まれたので酔っぱらいの記憶をたよりに書いてみる。ここには書けないオフレコ話も多々あったように思うが忘れたので書かない。 またここに書くことは僕の脳みそで理解した部分に限るが、誤解が含まれている可能性はもちろんあるので変なことを書いていたら指摘していただけると幸いである。 で、この飲み会を開いた経緯としてはですね、僕自身がHiveを用いたログ解析をするようになって他の人の現場寄りの話を聞きたいなーと思ってTwitterで絡んでいたら大物がきたので開催した次第である。大物が誰かはマル秘事項である。一人じゃないとだけいっておこう。 世の中的にも主にWeb業界でHadoopでのBI案件が広まるにつれて、Hive, Pig, Hadoopストリーミング, 生MapReduce
イベントログ収集ツール fluent リリース！ - Blog by Sadayuki Furuhashi
こんにちは。Treasure Data の古橋です^^; 先日の Treasure Data, Inc. 壮行会 で、イベントログ収集ツール fluent をリリースしました！ Fluent event collector fluent は syslogd のようなツールで、イベントログの転送や集約をするためのコンパクトなツールです。 ただ syslogd とは異なり、ログメッセージに テキストではなく JSON オブジェクト を使います。また プラグインアーキテクチャ を採用しており、ログの入力元や出力先を簡単に追加できます。 Twitterでも話題沸騰中です：イベントログ収集ツール #fluent 周りの最近の話題 背景 「ログの解析」は、Webサービスの品質向上のために非常に重要です。Apacheのアクセスログだけに限らず、アプリケーションからユーザの性別や年齢などの詳しい情報を集め
Hadoopでログ解析ってよく聞くけど。。。
wyukawa @wyukawa ログ解析はよく聞くけどログ設計の話はあんま聞かないな。そういえば。＞エンタープライズビジネスを加速させるHadoop：第4回 ログ解析で利用できるHadoop｜gihyo.jp … 技術評論社 http://bit.ly/mXcJk6 2011-07-06 20:40:02 wyukawa @wyukawa HDFSにとりあえずためとくって話があるけど、完全ノープランでためるだけだとただのゴミだよなあ。監査でどうしても必要っていうなら別の保管の仕方もありそうだし。 2011-07-06 20:41:44 wyukawa @wyukawa 自前でロギングするにせよ専用ソフトを使うにせよ、どういう情報が必要でどう解析してどう役立てるのかっていうストーリーが最初に無いと手段が目的になってしまう気がしている。もちろん最初から完璧なストーリーなど作れないので試行錯誤
VMware vSphereのログ管理における注意点
VMware vSphere Tipsジャンル別インデックス 関連ホワイトペーパー VMware | アプライアンス | コンプライアンス | ログ管理
第2回 過去ログの“証拠力”と生ログの“予測力”
あらゆるものがデジタル化されてきた今、ITを介したトランザクションのすべてが“ログ”として残るようになっています。とにかく溜まっていくログですが、視点さえ明確にもって解析すれば、自ずと色々と“語り出す”のです。第1回では、人の振る舞いは「動き」と「動かし」に大別されること、「時間と空間の軸」で分析していくことで、特定の振る舞いをあぶりだせることを説明しました。今回は、ログが持つ“証拠力”と、 ログの“語り口”について説明します。 事件の早期解決策としてログが表舞台に 世間を賑わす大事件において、ログが話題になるケースが増えています。最近も、大相撲の八百長問題では、消されたはずの携帯メールの受発信ログを、わずかに残っていた磁気から掘り返すことで、犯行の軌跡があぶり出されました。尖閣諸島沖で海上保安庁が撮影した映像がYouTubeに流出した事件でも、YouTubeに記録されたIPアドレスから、
第1回 ログって、そもそも何？
あらゆるものがデジタル化されてきた今、ITを介したトランザクションのすべてが“ログ”として残るようになっています。とにかく溜まっていくログですが、視点さえ明確にもって解析すれば、自ずと色々と“語り出す”のです。本連載では、ログの本質をつかむと同時に、ログ活用の最新動向を解説します。第1回は、そもそも「ログって何」というところから始めましょう。 京大・入試事件を早期解決させた「ログ」 2011年2月末に京都大学などで起こった携帯電話を使ったカンニング事件は記憶に新しいところです。同事件において犯人を特定するうえで大きなカギとなったのがIPアドレスでした。デジタルネットワークの機器を利用するということが、どのようなことであり、その裏にどのような情報、すなわち「ログ」が蓄積されていくのかということが、一般の人々にも良く理解できる事例の一つになりました。 「ログ」を辞書で引くと、「航海日誌、コンピ
ジェミナイ、分散KVS「Cassandra」を使ったリアルタイムログ解析システムをOSS化
ジェミナイ・モバイル・テクノロジーズは2011年3月3日、リアルタイムログ解析システム「Flume-Cassandra Log Processor」をオープンソースソフトウエア（OSS）として公開した（配布サイト）。大量のシステムログを瞬時に分析して、グラフィカルなレポートを作成できる。ログ保存には、OSSの分散キー・バリュー型データストア（KVS）「Cassandra」を使用する。 Flume-Cassandra Log Processorでは、監視対象のサーバーで発生したイベントのログを、1秒以内にストレージであるCassandraに保存する。Cassandraは書き込みが高速な分散KVSで、サーバーの台数に比例して、ストレージ容量とI/Oを拡張できる。そのため、クラスターのサーバー台数を増やすことで、数百Tバイトのログの格納が可能になるとしている。ログの分析機能やレポート作成機能のほ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
イベントログ収集ツール #fluent 周りの最近の話題 - Togetter
Webアプリケーションのログについてあれこれ - 酒日記 はてな支店
