MapReduce - naoyaのはてなダイアリー
"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。 MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapReduce の計算モデル map() にはその計算問題のデータとしての key-value ペアが次々に渡ってきます。map() では key-value 値のペアを異なる複数の key-value ペアに変換します。reduce() には、map() で作った key-value ペアを同一の key で束ねたものが順番に渡ってきます。その key-values ペアを任意の形式に変換すること
COMPACT DISCO Blog クリント・イーストウッド監督『真夜中のサバナ』
クリント・イーストウッド監督『真夜中のサバナ』 97年、イーストウッドは監督として 『目撃』と『真夜中のサバナ』 という2本の映画を世に送り出した。 どちらも「超」の付くくらいの傑作であり、 まったく違う味わいを持った映画である。 少し乱暴な言い方をすれば、 『目撃』は、 イーストウッドの出自がB級アクション映画の系譜 にあったことを久しぶりに思い出させてくれる作品だが、 『真夜中のサバナ』を観ると、 イーストウッドがあくまでB級から出発しながらも、 いつからか完全にA級作家へと変貌を遂げたことが ありありとわかるといった次第だ。 それは『目撃』という映画の評価 を決しておとしめるものではないし、 私自身、あちらも折に触れて好んで観る映画ではあるが、 ここ数年は『目撃』より『真夜中のサバナ』の方が はるかに好きである。 もう10回以上観ているが、 私はこの『真夜中のサバナ』という映画の魅力
Twitterのアーキテクチャと遅延のしくみを考えてみる - 2009-03-04 - きしだのはてな
今日もTwitterは遅延してたんで、その遅延が起こるようなTwitterのアーキテクチャを考えてみるよ。Twitterの不具合から考えてみただけで、完全に想像であって、実際になにかの資料に基づいたりはしてないので、念のため。 まず、サーバー構成はこんな感じ。 Webサーバーとデータベースサーバーは当然として、投稿したときの処理を管理するためのメッセージキューとユーザートップページを保存しておくキャッシュがあると思う。 ちなみにこのメッセージキューは今までRubyで書かれていたものがScalaに書き直されたらしく、Twitter Kestrel Projectとしてソースが公開されてる。 Twitter message queues move to Scala | The Scala Programming Language で、データベース。 ユーザーテーブルとステータステーブルはもちろ
Hadoop Streamingで分散処理をPHPでやってみた - Stellaqua - ＴＯＭの技術日記
「何番煎じか分からないけど集合知プログラミングをPHPでやってみたシリーズ」で扱っている集合知プログラミングは、とかく計算量が多くなりがちで、うまくアルゴリズムを作らないとメモリ不足に陥りがちです。 現に前回の記事では、その越えられない壁を体験してしまったので、「どげんかせんといかん。」という事で、最近ちょっと興味のある、Googleのバックエンドでも使われている"MapReduce"に関して少し調べてみました。 "MapReduce"に関しては、「"Googleを支える技術"読め。以上。」でもいいんですが、id:naoyaさんが書かれている記事が非常に分かりやすかったので、その記事のリンクを貼っておきます。 →MapReduce - naoyaのはてなダイアリー "Googleを支える技術"もせっかくだからAmazonのリンクを貼っておきます。 Googleを支える技術 ?巨大システムの
Gmailを固定ピッチの等幅フォント（MonoSpace）で表示する方法（2009年03月版） | Creazy!
以前作ったGmailを固定ピッチの等幅フォント（MonoSpace）で表示する方法（新Gmail対応）が動かなくなっていたので、修正版を作りました。以前のエントリーではユーザースタイル（userContent.css）をいじる方法も紹介していましたが、今回はGreaseMonkeyのみのアップデートです。 今回からUserScript.orgに置き場所を変えました。 インストールは下記からどうぞ。 http://userscripts.org/scripts/source/43538.user.js この、GreaseMonkeyスクリプトをインストールすると、メルマガの見出しとか、署名なんかの体裁がメールソフトを使っている時のように崩れずに表示する事ができます。 インストール前、こんな表示だったのが… ちゃんと表示されました！ どうぞ、ご利用ください。 ＃ってか、GMailがupdate
symfony - open-source PHP5 web framework
Services Platform.sh for Symfony Best platform to deploy Symfony apps SymfonyInsight Automatic quality checks for your apps Symfony Certification Prove your knowledge and boost your career SensioLabs Professional services to help you with Symfony Blackfire Profile and monitor performance of your apps
Dropboxを社内の共有サーバとして使おうと考えております。…
Dropboxを社内の共有サーバとして使おうと考えております。しかし現在、それぞれ社員が各自、自分用のDropboxを使っており、なんというか、dropboxを２つ（社内用と個人用）を持ちたい感じなのです。 それって可能なんでしょうか？その場合、ローカルのHDDの容量などがオーバーしてしまう可能性がありますが、そこら辺も教えてもらえると助かります。宜しくお願い致します！
[Mac]最近Firefoxが妙に重くなったなと感じているあなたm9(´Д`)の為のTips
マッキン徒の皆さん、こんxxは。 何か最近重い気がするなぁ…重い、やっぱ重いよ…と、使って行く内にジワジワと茹で蛙の如く重くなって動作が鈍化しある日ハッと我に返らせてくれる（カエルだけに）火狐ことFirefox。 導入時のあの感動をもう一度ｶﾓｰﾝщ(ﾟДﾟщ)！というあなたm9・∀・）。 先ず自分の日々の行いについて心当たりが無いか、胸に手を当ててよく考えてみるべきではないでしょうか。 そう、アドオンです。 使わない物は無効化にするか要らなければ削除しちゃいましょう。 そして意外とバカにならないのがブックマーク達。 単純に減らすのも手ですが、ポイントはブックマークツールバーから外す事。 自分の場合は一つのフォルダに500弱有ったブックマークを、Googleツールバーの機能を使いGoogleブックマークに吐き出して削除したら、新規ウィンドウ表示の立ち上がりが軽くなりました。 ツールバーのブ
![[Mac]最近Firefoxが妙に重くなったなと感じているあなたm9(´Д`)の為のTips](https://cdn-ak-scissors.b.st-hatena.com/image/square/6b7f772971dc29fc22449985ca065d54549fa5c1/height=288;version=1;width=512/https%3A%2F%2Frobotboy.up.seesaa.net%2Fimage%2Fprivacy_data_delete.png)
「Unixコマンド生活実践」課題の解答 — ありえるえりあ
Recent entries Apache2.4のリリース予定は来年(2011年)初め(あくまで予定) inoue 2010-12-23 Herokuの発音 inoue 2010-12-20 雑誌記事「ソフトウェア・テストPRESS Vol.9」の原稿公開 inoue 2010-12-18 IPA未踏のニュース inoue 2010-12-15 労基法とチキンゲーム inoue 2010-12-06 フロントエンドエンジニア inoue 2010-12-03 ASCII.technologies誌にMapReduceの記事を書きました inoue 2010-11-25 技術評論社パーフェクトシリーズ絶賛発売中 inoue 2010-11-24 雑誌連載「Emacsのトラノマキ」の原稿(part8)公開 inoue 2010-11-22 RESTの当惑 inoue 2010-11-22 「プ
as/is » iTunes ライブラリを外付け HDD に移動する
すでに既出の情報ですが、ある人に質問されたのでここでまとめてみることにします。 iTunes ライブラリーを外付け HDD に移す方法。とってもカンタンです。ただし、ここで説明する方法は Mac を使っている場合にのみ適用可能ですのでご注意ください。 [前提条件] まず、iTunesの環境設定>詳細タブで、普段から以下の2項目にチェックを付けて音楽ファイルを管理していることが大前提となります。音楽ファイルが HDD 内に分散している場合、この方法は使えません。 また、言うまでもないことですが、外付けHDDにライブラリーを移動すると、そのHDDを繋いでいるときしか音楽が聴けなくなります。 iTunes を終了させます。 ホーム>ミュージック 内にある iTunes フォルダをそっくりそのまま、外付け HDD 上の任意の場所にコピーします。 option キーを押しながら iTunes を起動
クリックジャック - 素人がプログラミングを勉強していたブログ
最近流行のクリックジャックについて、メモ程度にまとめておく。 一言で言うと、外部サイトのボタンをユーザが間違えてクリックしてしまうように仕向けるテクニックが、クリックジャックである。 クリックジャッキングってこうですか？ わかりませんではiframeをCSSのopacityプロパティを利用して透明にして、その下にダミーのボタンを置いている。目に見えているボタンを押そうとすると、その上に被せてある透明なiframeのボタンが押されてしまう。 [Sleipnir]No Click Jacking — Gistはこの攻撃に対する防御手段として考えられたユーザースクリプトで、透明なiframeを検出する。 しかし、opacity以外にもクリックジャックをする方法はあるので不十分である。 例えば 2009-03-04_2146 - javascripter's library にスクリーンキャストを
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OpenX Blog » Targeting banners using site variable targeting