All of Percona’s open source software products, in one place, to download as much or as little as you need.
Percona Toolkit
All of Percona’s open source software products, in one place, to download as much or as little as you need.
オペレーショナル インテリジェンス、ログ管理、アプリケーション管理、企業のセキュリティおよびコンプライアンス | Splunk
組織全体を可視化してインサイトを獲得し、セキュリティの強化、信頼性の向上、イノベーションの加速を図りましょう。
Jenkinsとhadoopを利用した継続的データ解析環境の構築
2. Meta Information • 2006.4 – 2012.3 – Keio University • Artificial Intelligence, Semantic Web, Ontology Engineering • 2011.2 – 2012.3 – CTO at Trippiece, Inc. • Software Engineering • 2012.4 – – Engineer at adingo, Inc. • Data Analysis, Operation Engineering twitter: @suzu_v http://blog.kentasuzuki.net
LogFormatディレクティブ：ログファイルのフォーマットを定義する
Apache では Apache で起動している Web サーバにアクセスしてきたユーザーのログを残すことができますが、ユーザーの情報の中からどのようなデータをログとして残すのかについてログのフォーマットを定義することができます。ここでは Apache のログファイルで使用するフォーマットを設定する方法について解説します。
Distributed Flume Setup With an S3 Sink
I have recently spent a few days getting up to speed with Flume, Cloudera‘s distributed log offering. If you haven’t seen this and deal with lots of logs, you are definitely missing out on a fantastic project. I’m not going to spend time talking about it because you can read more about it in the users guide or in the Quora Flume Topic in ways that are better than I can describe it. But I will tell
Emerge Technology: VisitorsでApacheのログ解析
dev (147) diary (105) python (94) 生活 (67) 製品/プロダクト (53) ランチ (48) 学び (41) mac (27) golang (15) linux (14) iphone (13) misc (12) おやつ (11) イベント (11) 仕事術 (11) 分散 (10) スキル (8) html (7) キャリア (7) ワークスタイル (6) 技術動向 (6) 趣味 (6) java (4) websocket (4) アーキテクチャ (4) 就職/転職 (4) グルメ (3) apache (2) js (2) solr (2) ショッピング (2) 料理 (2) IT (1) apple (1) kindle (1) lucene (1) oracle (1) rdbms (1) windows (1) ► 2014 (15) ►
fluent と hoop を使って HDFS にリアルタイムにログを流す - tester7のブログ
概要 複数台のWebサーバのログを fluent と hoop を使ってリアルタイムにHDFSに追記していくテスト。 より頻度の高い行動解析を行うことができるようになる？ 参考にしたブログ： tagomorisのメモ置き場 テスト構成 # 初めてテキストで図書いた。 # 線を交差させる所で面倒くさくなって適当に... web01 server fluent master +---------+ +---------+ | Fluentd |--+--->| Fluentd |--+ +---------+ |+-->+---------+ | Proxy || +-->+--------+ +--------+ || | hoop |-->| HDFS | web02 server || fluent slave +-->+--------+ +--------+ +---------+
EC2インスタンス上でfluentdを動かしてみたメモ - nozaq's diary
EC2インスタンスのAMIはUbuntu Server Cloud Guest 11.10 64Bitを使用. パッケージはfluentdの安定版をRubyインタープリタ等込みでパッケージングしているtd-agentを利用する. fluentd(td-agent)をインストール Treasure Data社のDebian/Ubuntu用ドキュメントを参照しながらapt-get用のリポジトリを追加し,インストール(RedHat/CentOS用はこちら). > sudo apt-add-repository 'deb http://packages.treasure-data.com/debian/ lucid contrib' > sudo apt-get update > sudo apt-get install td-agent 動作検証 動作検証用に設定ファイルを下記のように編集する.
Fluentd: Log Aggregation Made Simple – Community Feedback for 2012 Hadoop Summit
2012 Hadoop Summit suggested: We describe the philosophy and design of Fluentd, an open-source, distributed, pluggable, streaming log collection system. Fluentd was designed to achieve two goals in mind: log collection could be dead simple and extensible in a scalable way. Fluentd treats logs as JSON streams, not as traditional files. This eliminates the burden of analytic systems to parse logs in
Perl から Fluentd にログ出力 - Fluent::Logger リリース - 酒日記 はてな支店
皆さん、ログ書いてますか！？(挨拶) Fluentd meetup in Japan も開催間近、最近大変熱いイベントログ収集システム Fluentd なわけですが、Perl からログを出力する Fluent::Logger というモジュールを CPAN にリリースしたのでお知らせします。 (最初の版は id:hirose31 さんが書かれて、それに同僚の id:shin1rosei と手を加えたものです) インストールは cpanm などでどうぞ。使い方は POD にもあるように簡単です。 use Fluent::Logger; my $logger = Fluent::Logger->new( host => "127.0.0.1", port => 24224 ); $logger->post( "myapp.info" => { foo => "bar" } ); 上記の例で送信す
Cloudera Blog
It’s hard to believe it’s been 15 years since the global financial crisis of 2007/2008. While this might be a blast from the past we’d rather leave in the proverbial rear-view mirror, in March of 2023 we were back to the future with the collapse of Silicon Valley Bank (SVB), the largest US bank to […] Read blog post
Scribeのインストール - クッション
前回に引き続き、データストレージの話題。 まずは、Scribeのインストールと基本的な使い方とレプリケーションまでを ご紹介します。 環境はCentOS5.2です。 インストール 依存ファイルをインストール yum install automake libtool flex bison pkgconfig gcc-c++ libevent-devel zlib-devel python-devel libevent bzip2-devel boostをインストール wget http://downloads.sourceforge.net/boost/boost_1_37_0.tar.gz?modtime=1225667581&big_mirror=0 tar xzvf boost_1_37_0.tar.gz cd boost_1_37_0 ./configure make make in
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoopを用いた大規模ログ解析
Flume Plugins
Flume and HBase Integration - Sematext
Log Collection Server with Node.js