MapReduce::Liteで手軽に分散処理 - はこべにっき ♨
「Googleを支える技術 ?巨大システムの内側の世界 (WEB+DB PRESSプラスシリーズ)」を読み終えたので，id:naoyaさんの作ったMapReduce::LiteでMapReduceを試してみた．以下は，MapReduce::Liteを使ってみたメモなど．あくまでもメモなので，くわしくMapReduceの勉強をしたいひとは，id:naoyaさんの記事(MapReduce - naoyaのはてなダイアリー)がおすすめです． MapReduceは，MapとReduceの二つを組み合わせて実現できる処理を，分散処理化するGoogleの技術．すばらしい抽象化ですね． id:naoyaさんの作ったMpaReduce::Liteは，MapReduceの仕組みをPerl上で実現したモジュール．ただ，MapReduce::Liteでは，処理をマシンごとに割り当てて分散しているわけではなく，ス
Google を支える技術 - naoyaのはてなダイアリー
Google を支える技術 を読みました。 Google のバックエンドで動いている各種分散処理システムに関しては Google 自身から論文がいくつも発表されています。それらの論文をはじめとする比較的最近の情報ソースをベースに、ある程度かみ砕いて要所要所を紹介するという内容でした。加えて著者の西田圭介さんは OpenCobol (COBOL を C 言語に変換しコンパイルする gcc のフロントエンド) を開発された、技術的なバックグラウンドがしっかりしている方であるようで、内容は信頼できると思います。 自分はこれまで Google のバックエンドの各種ソフトウェアについては方々で耳にしていましたが、漠然と何をするものか程度のことしか知りませんでした。 Web 検索の基本的な仕組みと それにまつわる Google が直面した問題、特に大規模処理 それを支えるために開発された各種ソフトウェ
MapReduce - naoyaのはてなダイアリー
"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。 MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapReduce の計算モデル map() にはその計算問題のデータとしての key-value ペアが次々に渡ってきます。map() では key-value 値のペアを異なる複数の key-value ペアに変換します。reduce() には、map() で作った key-value ペアを同一の key で束ねたものが順番に渡ってきます。その key-values ペアを任意の形式に変換すること
簡単なWWW::Mechanize - はこべにっき ♨
テストやっとこ終わった。id:omochistも勉強再会したようですし、うちも更新再開ですよ。 今回は、これからいろいろ使いそうなWWW::Mechanizeモジュールを試してみた。WWW::Mechanizeはすてきなモジュールで、PerlにWebブラウジングをさせることができる。これを使って月並みだけどGoogle検索を行うスクリプトを書いてみた。 まず、準備。 use strict; use warnings; use WWW::Mechanize; use HTML::TreeBuilder::XPath; use Encode; use Readonly; sub say {print @_, "\n";} おもむろに、WWW::Mechanizeオブジェクトを作って、 my $mesh = WWW::Mechanize->new(); さらに、Googleにアクセスして、フォー
Excite ブログにログインする (hPod)
Excite ブログから Seesaa ブログへの移行：その３ Excite ブログに書いた記事には、非公開の部分もありうる。非公開に設定した記事と、非公開のオプションを付けられたコメント。 これらを閲覧するには、ログインする必要がある。ログインした状態で閲覧すると、非公開の部分も見えるようになる。 ただし、特にコメントについては、 Seesaa ブログにはないオプションだから、そのデータを移行させる必要の是非には一考の余地がある。投稿者が非公開を前提にしたものを、無思慮に公開するわけにはいかないから。でもバックアップという側面では取っておきたいデータには違いないし、取得だけしておいて、移行する際にはそのとき捨てればよい。 ということで、移行させるデータとしてはいちおう、これらの部分もカバーしたいので、 HTML ページを取得する際には、ログインした状態で取得するとする。 Excite ブ
与謝野馨さん｢PCは2時間で自作できます｣（動画）
意外というか、かなりギークなお方なんです。 経済財政・金融担当大臣の与謝野馨さん。どうもギズモード向きの趣味をしているという噂を聞きつけたので、自作PCなどについてのコメントをお願いしてみたんですね。そしたら、なんと映像出演まで快諾していただけちゃいまして...あざまーす！ ちなみに動画の中では、いままで作ったPCは20台くらいとおっしゃってます。でも、あとで確認したところ本当は50台以上のようで、少ない見積もりみたいですよｗ しかし、まあ、政治家なのになんでこんなにギークなのか？ と、思ったら、オープンソースの推進活動もされていたんですね。 いやー、すごい。失礼ながら、それなりにお年を召されているのに、この知識。リナックスはまだしも、フェドラやレッドハットなんて、そうそう口にできたもんじゃありませんよ。というか政治家なんですよね？ エンジニアじゃなくて。 それほどギークな与謝野さん。なん
松岡正剛の千夜千冊：楽天ブログ
2004年07月07日 第1000夜『良寛全集』 良寛 (180) カテゴリ：カテゴリ未分類 【第1000夜】 2004年7月7日良寛 『良寛全集』 1959 東京創元社 東郷豊治編 ↓いそのかみ ふりにし御世に ありといふ ↓猿（まし）と兎（をさぎ）と狐（きつに）とが ↓友をむすびて あしたには ↓野山にあそび ゆふべには 林にかへり 良寛の書について一冊書き下ろしてくれませんか、と言ってきたのは古賀弘幸君だった。 彼はぼくが良寛に惚れきっているのをよく知っていて、おりふし、良寛の書は打点が高いんだよ、良寛はグレン・グールド（980夜）やキース・ジャレットのピアノによく似合うよねといったような感想を言っていたのを、おもしろがってくれていた。チック・コリアはどうですかというので、うーん、それは比田井南谷かなあと言ったら、手を叩いておおいに喜んでくれた。 こういう言い方は、古谷蒼韻による「マ
声 「非戦」を読む
君死にたまふことなかれ 与謝野晶子 （1878〜1942・大阪生まれ） ――旅順口包囲軍の中に在る弟を嘆きて あゝをとうとよ、君を泣く、 君死にたまふことなかれ、 末に生れし君なれば 親のなさけはまさりしも、 親は刃をにぎらせて 人を殺せとをしえしや、 人を殺して死ねよとて 二十四までををそだてしや。 堺の街のあきびとの 旧家をほこるあるじにて 親の名を継ぐ君なれば、 君死にたまふうことなかれ、 旅順の城はほろぶとも、 ほろびずとても、何事ぞ、 君は知らじな、あきびとの 家のおきてに無かりけり。 君死にたまふことなかれ、 すめらみことは、戦ひに おほみづからは出でまさね、 かたみに人の血を流し、 獣の道に死ねよとは、 死ぬるを人のほまれとは、 大みこゝろの深ければ もとよりいかで思（おぼ）されむ。 あゝをとうとよ、戦ひに 君死にたまふことなかれ、 すぎにし秋を父ぎみに おくれたまへる母ぎ
生きる
生きる 谷川俊太郎 生きているということ いま生きているということ それはのどがかわくということ 木漏れ日がまぶしいということ ふっと或るメロディを思い出すということ くしゃみをすること あなたと手をつなぐこと 生きているということ いま生きているということ それはミニスカート それはプラネタリウム それはヨハン・シュトラウス それはピカソ それはアルプス すべての美しいものに出会うということ そして かくされた悪を注意深くこばむこと 生きているということ いま生きているということ 泣けるということ 笑えるということ 怒れるということ 自由ということ 生きているということ いま生きているということ いま遠くで犬が吠えるということ いま地球が廻っているということ いまどこかで産声があがるということ いまどこかで兵士が傷つくというこ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Perlメモ/ドキュメント和訳 - Walrus, Digit.
http://www.alpha-net.ne.jp/users2/oyuu/kotonoha10.htm
サービス終了のお知らせ