MapReduce - naoyaのはてなダイアリー
"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。 MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapReduce の計算モデル map() にはその計算問題のデータとしての key-value ペアが次々に渡ってきます。map() では key-value 値のペアを異なる複数の key-value ペアに変換します。reduce() には、map() で作った key-value ペアを同一の key で束ねたものが順番に渡ってきます。その key-values ペアを任意の形式に変換すること
Googleにもアクセス拒否され、スパム送信源と化した「libwww-perl」とは？
スパム対策をして気がついたのですが、どうやらスパムトラックバックを送信してくるリモートホスト（IPアドレスなど）はバラバラであっても、ユーザーエージェント、いわゆるブラウザの名称部分に「libwww-perl/5.805」というように「libwww-perl」と入っているものが多く、結果として、Googleなどは検索結果ページに対してこのユーザーエージェント名の一部「libwww」が含まれているとアクセス拒否しているようです。 ネット上で調べてみると、かなり多くの人が「libwww-perlはスパム送信ボットだ」と思っているらしいので、その正体を探ってみます。実際にはスパム送信のためのものではないです。どんなものでも悪用されると悲劇が起きるという例になってしまっています。 詳細は以下の通り。 まず最初に、「libwww-perl」がスパム発生器と化している状況は検索すれば国内や海外含めて山
適宜覚書はてな異本 - 「まるごとPerl! Vol.1 」がまるごとGoogleBookSearchで公開されている
12/21追記 ただ今通常の更新環境ではない*1ため、取り急ぎ状況のみ追記します。本件*2はGoogleの設定ミスで発生した事故であり、現状では、「まるごとPerl! Vol.1 」を含む14冊は閲覧できない状態に変更されているそうです。 また、以下の外部記事に状況が纏まっていますので事故の経緯を知るため目を通して頂ければと思います。 404 Blog Not Found:「まるごとPerl! Vol.1 」のGoogle Book Search全文公開は事故 Google ブック検索でインプレスの本の内容がぜんぶ見えていた件: That’s Life ”気になるニュースとブックレビュー” 「Googleブック検索」で書籍内容が100％すべて公開されてしまう事故発生！ :にゅーあきばどっとこむ 尚、本件に触発された内容については別エントリを書く予定です。 従来記事 -まるごとPerl! V
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
