HadoopによるApacheのログ解析・実例：DECOLOG TECH BLOG annex：エンジニアライフ
こんにちは、ミツバチワークス stoneです。 今日は、DECOLOGで行っているApacheのログ解析について、ご紹介してみようかと思います。 現在、DECOLOGでは、リバースプロキシが8台あって、その8台の1日のApacheのログは、全部で、200Gバイト以上になっています。 これを、13台のHadoopのスレーブノードで解析を行っています。 ※別館注：本記事は2010年10月時点の内容です。この後CDNを導入し、解析対象ログは80GB、解析時間は1時間半程度に圧縮されました。Hadoopのノードも11台に減らしています 全体の流れとしては、 リバースプロキシからHDFSにログを転送 解析用のサーバで、HDFSにログの転送が終わるのを監視 ログの転送が終わったら、Hadoopを起動、解析 Hadoopの解析結果をデータベースに保存 以下では、各ステップを個別に見ていくことにしますね。
70年代Sci-Fiチックな建物写真館
タイトルそのままです、どうぞ！ トップ画はGeisel図書館（カリフォルニア州 San Diego） アレキサンドラロード（ロンドン） アポロパビリオン12（イギリス北東部ピーターリー） Barbican団地（ロンドン） バーミンガム中央図書館（イギリス、バーミンガム） Brownfield団地（ロンドン東部） ブルネル大学（ロンドン西部） 駐車場（コネチカット州 New Haven） カーペンターセンター（マサチューセッツ州 Harvard） ヘイワード・ギャラリー（ロンドン） 研究施設（ニューヨーク州 ロングアイランド） 国立劇場（ロンドン） Park Hill団地 Pimlico School（ロンドン） Robin Hood Gardens（ロンドン） Smithsonian Hirshhorn Museum（ワシントンDC） Trellicタワー（ロンドン） Tricorn Ce
日々の出会いを記録する ソーシャル・コミュニケーション・ツール 「meets (ミーツ)」
お金を借りると言う事は、負債を背負っていると言う事をまず念頭においてください。カードローンは普通に仕事をしてる人であれば、基本的に誰でも組めるものとなってます。誰でも簡単に契約できる為に、ちょっと今月厳しいから利用してみようかな。などと言う簡単な気持ちで利用するのがまず始まりです。 そして、最初は利用を躊躇してたのに、一度使ってしまうと「こんなに簡単にお金を手にする事が出来るんだ」と感じるようになり、お金を借りる事に段々と抵抗が無くなって来ます。きちんと返済を滞らせずに行ってれば、段々と限度額も増えていき、何年も使ってるうちに、かなりの限度額になるのでは無いでしょうか。そうなった時に、借りてる本人は感覚が麻痺してきて、自分の銀行口座に入ってるお金だと勘違いしてしまうような、そんな錯覚に陥る日が必ずやってきます。そうなるのが実は一番危険なのです。 カードローンと言うのは、間違いなく借金なのに
Googleは10%なのに30%取るなんて...AppleのApp Store購読モデルに反発続々
Googleは10%なのに30%取るなんて...AppleのApp Store購読モデルに反発続々2011.02.17 16:00 satomi iPadにデジタル購読きた！ やった！ これで雑誌New YorkerもPopSciもワンクリックで定期購読できるし、毎号魔法のように自動配信されるし、アプリ開いて毎号購入しなくていいし、ゴタゴタもイライラもなし。紙マガジンの定購更新もしないでこの瞬間を待っていたー！ ...と虹色のことばかりじゃないようで...購読サービス開始のプレスリリースには、こんな見落とせないポイントが2つあるんです。 パブリッシャーがデジタルサブスクリプションをアプリケーション以外の場所でも販売することを選んだ場合には、それと同じサブスクリプションを同価格またはそれ以下の価格で、アプリケーション内からのサブスクリプションを希望する購読者に対しても提供する必要があります。
Facebookとのシェア争いにおけるmixiの優位性【湯川】 | TechWave（テックウェーブ）
[読了時間：4分] 「Facebookとmixiのシェア争いって、どちらが勝つんでしょうか」という質問をよく受ける。いや、非常に頻繁に受ける。 これまで何度も書いてきたが、わたし自身、このシェア争いには興味がない。ビジネスモデルがある程度確立したプレーヤー同士のシェア争いは結論が出るまでに時間がかかるものだし、そうした争いが始まった時点で実はビジネスチャンスや主戦場は別のレイヤーに移行するからだ。 Windows対macのシェア争いが新聞記事になっていたころにインターネットが登場し、主戦場はブラウザになった。ブラウザのネットスケープとインターネット・エクスプローラーがシェア争いを繰り広げるころには、Yahoo!が登場した。Yahoo!と対抗馬のポータルが争っている間に、Googleが登場した。GoogleとBingが争っているときに、Facebookが登場した。なので、今はわたしの関心は「
日経xwoman：doors 20代からのキャリアとライフ：日経xwoman：日経xwoman
door to door 「人生の新たな扉を開けた挑戦者たち」に迫ります。一歩を踏み出す不安とどう向き合い、葛藤をどう乗り越えたのでしょうか。そして、彼女が扉を開けた理由はーー。 NEW 19回/全16回 キャリア 2024.02.19
タイポグラフィー・ガール
カイシトモヤ @room_composite 「タイポグラフィー・ガール」 私の名前は版久美子。好きな書体は中ゴシックBBB。嫌いな書体は新ゴB。 ジリリリリリリリ、、、、、やだ！もうこんな字間！、じゃなかった、時間！！あと少しでホームルームが始まる。急いで制服に着替え、トーストをかじったまま家を飛び出した。 2011-02-16 23:24:00 カイシトモヤ @room_composite イタリック体のような軽やかさで学校へと走る。 タテ組からヨコ組へ。直角の曲がり角を全速力で駆け抜けようとしたその時、、、ドンッ！！！凸版でプレスされたような衝撃が私の体に走った。 誰かにぶつかったらしい。ついヒステリックになって怒鳴ってしまった。「どこ見て歩いてんのよ！」 2011-02-16 23:25:56 カイシトモヤ @room_composite 「タイポグラフィー・ガール」第2話 「そっ
HBGary事件の顛末 - セキュリティは楽しいかね？ Part 1
セキュリティベンダーの HBGaryが先日 Anonymousによってハックされ話題になった。HBGaryはセキュリティ研究者である Greg Hoglundがファウンダーである。彼は長年 rootkit.comを運営しているほか、Exploiting Softwareや rootkitsなどのすばらしい書籍も書いており、この業界ではかなりの有名人だ。 この事件は一体どのようにして起きたのか。きっかけは、HBGary Federalという会社が Anonymousについて調査した結果を公表しようとしたことに対する、Anonymousの報復攻撃ということのようだ。(Anonymousについてはこちらの解説が詳しい。) さて、この事件についての詳細が Anonymousによって明らかにされたようなのだが、その経緯が非常におもしろい。 Anonymous speaks: the inside s
Google Chart API で日本の都道府県に自由に色が塗れる！すごい！
Google Chart API で日本の都道府県に自由に色が塗れる！すごい！ 2011-02-16-3 [WebTool][WebAPI][Geography] Google Chart API のページを見ていたら地図に色塗りできる API があるのを知りました。地域コードと色を指定すると色塗りされた地図画像が返ってくるという API です。世界中の地域の地図が対象です。これは使える！ Map Charts - Google Chart Tools / Image Charts (aka Chart API) - Google Code http://code.google.com/intl/ja/apis/chart/docs/gallery/new_map_charts.html 私としては地域情報＋テキストマイニングの結果を日本の都道府県に色塗りしたいです。さっそく使ってみよっと
スマートフォンの広告価値、アンドロイドよりｉＰｈｏｎｅユーザーが高い 米社調べ | AdverTimes.（アドタイ） by 宣伝会議
米携帯アドエクスチェンジネットワーク最大手のモブクリックスは10日、「2011年１月の携帯アプリ広告収入において、ｉＰｈｏｎｅ（アイフォーン）ユーザーの方がアンドロイドユーザーよりも価値が高い」との調査結果を発表した。 これは同社が、ユーティリティー、エンターテインメント、ゲームの３つのカテゴリーで、米アップル製「アイフォーン」のユーザーと米グーグルのＯＳ「アンドロイド」端末のユーザーについて、ユーザー１人当たりの月平均広告収入を調べたもの（有料アプリの収入は含まず）。 カテゴリー別ではユーティリティーが広告収入が最も多く、アイフォーンの１ユーザー当りの月間平均広告収入が9．50ドルでアンドロイドが7．20ドル、以下エンターテインメントでアイフォーンが6．70ドルでアンドロイドが4．90ドル、ゲームでアイフォーンが4．00ドルでアンドロイドが1．90ドルとなっている。（松本泰輔）
デザインそのままにfacebookのウォールをサイトに埋め込めるjQueryプラグイン「fb.wall」:phpspot開発日誌
Facebook Wall - a jQuery Social Media Plugin デザインそのままにfacebookのウォールをサイトに埋め込めるjQueryプラグイン「fb.wall」 facebookのウォールとはTwitterのタイムラインのようなものですが、それを簡単にサイトの特定エレメント内に埋め込めるプラグインです。 Twitterのタイムラインを表示している方もおおいですが、facebookのタイムラインも表示させたいという場合はこれが便利に使えそうです。 デザインは次のようにそのままのデザインでページに埋め込むことが可能。 Live Demo として動作デモをカスタマイズして動かせるので試してみましょう。 コード例は次のようにIDなどをオプションしてあげればOK $('#live-demo').fbWall({ id:'pehpspot', showGuestEnt
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PINA - Dance, dance, otherwise we are lost - International Trailer on Vimeo