HadoopによるApacheのログ解析の実際
こんにちは、ミツバチワークス stoneです。 今日は、DECOLOGで行われている、Apacheのログ解析について、 ご紹介してみようかと思います。 現在、DECOLOGでは、リバースプロキシが8台あって、 その8台の1日のApacheのログは、全部で、200Gバイト以上になっています。 これを、13台のHadoopのスレーブノードで解析を行っています。 全体の流れとしては、 1) リバースプロキシからHDFSにログを転送 2) 解析用のサーバーで、HDFSにログの転送が終わるのを監視 3) ログの転送が終わったら、Hadoopを起動、解析 4) Hadoopの解析結果をデータベースに保存 以下では、各々のステップを個別に見て行くことにしますね。 1. リバースプロキシからHDFSにログを転送 当初、Hadoopのプロセスが立ち上がっていないと、HDFSにはアクセスできない、 と思い込ん
MOONGIFT: » Web開発者は必須！様々なバージョンのIEを収録した「Internet Explorer Collection」:オープンソースを毎日紹介
Webサイトを構築する際に、どのバージョンのブラウザまでサポートするかが問題になりやすい。最新のバージョンだけであれば良いのだが、不特定多数へのサービス提供となればそうもいかないだろう。 様々なバージョンのIEが立ち上げられる IEの場合で言えば5.5以降を対象とする場合が多いように思う。だがそんなバージョンのIEを簡単に用意できるだろうか。そこで使いたいのがこのソフトウェアだ。 今回紹介するフリーウェアはInternet Explorer Collection、様々なバージョンを収録したIEだ。 Internet Explorer Collectionで提供されるバージョンは1.0/1.5/2.01/3.0/4.01/5.01/5.5/6.0/7.0/8.0となっている。8.0β版まで収録されているので、今後を見越した上でのテストが実行できるようになる。 なぜかインストーラーはVista
『MOONGIFT: » Web開発者は必須！様々なバージョンのIEを収録した「Internet Explorer Collection」:オープンソースを毎日紹介』へのコメント
暮らし MOONGIFT: » Web開発者は必須！様々なバージョンのIEを収録した「Internet Explorer Collection」:オープンソースを毎日紹介
はてなインターン参加中の文系男子が空気を読まずに本音を書くよ - 久保渓（クボケー）の日記
# インターン参加者のレポが少ないと嘆くid:naoyaとid:onishiの会話が横耳に・・・じゃなかった、 # はてなインターン関連の記事を挙げればほっとエントリに入ると聞いて・・・でもなかった、 外向けのはてなインターンレポート（はてなインターン1週間のまとめ - Gemmaの日記,http://eighteentillidie.com/2008/08/entry-919.html）が賑わっているようなので、この辺境の地でひっそりとはてなインターンに関する本音を書きます。 大学で政治学を学ぶバリバリ文系の僕が、はてなインターンに参加しているわけですが、実際のところインターンってどんな感じなのだろうと気になる人も多いでしょう。専門的な知識がほぼ皆無な僕が、一般ぴーぽーから見たはてなインターンを紹介するのもまあいい感じでしょう。 たとえば、｢なんで毎日毎日講義やってるんだ｣問題について。
はじめてのSilverlightホスティング - 匣の向こう側 - あまりに.NETな
折角のSilverlightなので自分のホームページでも動かしてみたくなりますね。 Microsoft® Silverlight™ Streaming by Windows Live™ マイクロソフトでSilverlightのホスティングサービスを行っているので、早速、使わせてもらうことにします。 まずは、Windows Live IDの入手です。次に、 Outlook.com - Microsoft free personal email 次に上記ページのGet it freeボタンを押してSilverlight Streaming account IDを入手します。入手後、先ほどのページに戻って画面右上のSign inからサインインします。すると、画面左から Manage Account Manage Applications が、選択可能になります。Silverlightアプリケーシ
柔らかな光がパーッと差すような効果をPhotoshopで実現する方法
向かって画像の左が元画像で、右が今回紹介する効果を加えたもの。よくあるような光が差す効果ですね。これをPhotoshopで実現するにはどうすればいいのか？という方法を画像付きで紹介しているものを見つけました。マスターしておくといろいろと応用が利きそうです。 解説は以下から。 Rarindra style workflow...: Retouching Forum: Digital Photography Review 要するにレイヤーマスクを駆使しているだけなのですが、その使い方が基本中の基本と言ってもかなり秀逸。 ちなみに以下のような画像の場合はまた手法が違っており、前景の人物と背景とを分離してコントラストなどを調整することによって、背景に強烈な光が当たっている感じを出しているそうです。こっちは見た目よりも簡単にできそうです。 fotocommunity: "iqra"
CHILD'S SQUARE'S Wiki - [Lisp処理系を作る] Lisp処理系を作る
ここを見て Lisp 処理系を作ってみた。 けど、途中で不満に思う点が何点かあった。 どうせ手を加えるなら、一から作ろうと思った。 それなら、その作成の経緯を記録しておこう。
ブラウザ上で動画を編集・公開できる「エディパ」
ITベンチャーのエディパは1月17日、Webブラウザ上で動画や画像を編集し、他ユーザーに公開できるサイト「エディパ」を開設した。利用は無料。 PCに接続したWebカメラから動画を取り込み、ブラウザ上で確認・保存して編集できる。動画・画像ファイルのアップロードも可能。YouTubeに掲載された動画をアップロードして編集することもできる。 編集ページでは、動画や画像にスタンプやフレームを付けたり、文字を書き込んだりして装飾可能。不要なシーンをカットする機能、背景の一部を隠す機能、動画と動画のつなぎ目をスムーズに見せる機能を備えた。 スライドショー作成機能も装備した。画像をブラウザ上でドラッグして好きな順番に並べ、用意されたBGMや効果音を付けられる。 投稿された動画や画像は、コメントを付けたり、お気に入り登録できるほか、ブログなどに貼り付けることもできる。メッセージを送受信したり、他ユーザーを
ソフトウェアテスターのための4つのレッスン－1 レッスン1 ［何もせずに取り残されるな］
ソフトウェアテスターのための4つのレッスン－1 レッスン1 ［何もせずに取り残されるな］：The Rational Edge （26）（1/4 ページ） The Rational Edgeより：本稿はソフトウェアテスターを念頭に書かれてはいるものの、ソフトウェア開発チームの全員に関連のある内容で、技術の流れに遅れず、統合に関する問題を理解し、チーム内のメンバーに十分な情報を提供するための手堅いアドバイスを提供する。 筆者は、学生時代から就職して今日に至るまで、25年近くソフトウェアエンジニアリングに携わり、そのほとんどをソフトウェアのテストに費やしてきたことを最近悟った。その間に筆者は、すさまじく大きな技術の変化を目の当たりにし、それに関与してきた。かつて洗濯機ほどの大きさがあったディスク装置も、いまではキーホルダーに付けられるほどになった。ラップトップの計算処理能力は、部屋全体を独占した
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://vimrc.hp.infoseek.co.jp/diary/2005-03.html
amachang―メランコリックな渋谷系Javascriptハッカー
IDEA * IDEA