大原雄介の最新インターフェイス動向 2010年 記事一覧 - PC Watch
インプレスのビジネスWebThink ITWeb担当者Forumインプレス総合研究所IT Leadersドローンジャーナルインプレスの本と雑誌デジタルカメラマガジンできるネットインターネット白書ARCHIVESSmartGridフォーラムネットショップ担当者フォーラムImpress Business LibraryインプレスセミナーDIGITAL X（デジタルクロス）インプレスブックスNextPublishingRittor Musicリットーミュージック楽器探そう!デジマートTシャツPOD T-OD立東舎山と溪谷社山と溪谷オンラインCLIMBING-NET近代科学社近代科学社Digitalイカロス出版AIRLINEwebJディフェンスニュース通訳翻訳ジャーナルJレスキューWebイカロスアカデミーMdNMdN BooksMdN Design InteractiveICE天海社Comic c
HadoopによるApacheのログ解析の実際
こんにちは、ミツバチワークス stoneです。 今日は、DECOLOGで行われている、Apacheのログ解析について、 ご紹介してみようかと思います。 現在、DECOLOGでは、リバースプロキシが8台あって、 その8台の1日のApacheのログは、全部で、200Gバイト以上になっています。 これを、13台のHadoopのスレーブノードで解析を行っています。 全体の流れとしては、 1) リバースプロキシからHDFSにログを転送 2) 解析用のサーバーで、HDFSにログの転送が終わるのを監視 3) ログの転送が終わったら、Hadoopを起動、解析 4) Hadoopの解析結果をデータベースに保存 以下では、各々のステップを個別に見て行くことにしますね。 1. リバースプロキシからHDFSにログを転送 当初、Hadoopのプロセスが立ち上がっていないと、HDFSにはアクセスできない、 と思い込ん
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Design paper of the home server（公開版）
