MapReduce on Tyrant - mixi engineer blog
先日、隅田川の屋形船で花見と洒落込んだのですが、その日はまだ一分咲きも行ってなくて悲しい思いをしたmikioです。今回はTokyo Tyrant（TT）に格納したデータを対象としてMapReduceのモデルに基づく計算をする方法について述べます。 MapReduceとは Googleが使っているという分散処理の計算モデルおよびその実装のことだそうですが、詳しいことはググってください。Googleによる出自の論文やApacheプロジェクトによるHadoopなどのオープンソース実装にあたるのもよいでしょう（私は両者とも詳しく見ていませんが）。 今回の趣旨は、CouchDBがMapReduceと称してJavaScriptで実現しているデータ集計方法をTTとTCとLuaでやってみようじゃないかということです。簡単に言えば、以下の処理を実装します。 ユーザから計算開始が指示されると、TTは、DB内の
「テレビ版Yahoo! JAPAN」が開始。メーカー問わず利用可能
Yahoo! JAPANを運営するヤフーは6日、テレビ向けインターネットサービス「テレビ版Yahoo! JAPAN」を開始した。利用は無料。 ■ テレビ画面に最適化した「テレビ版Yahoo! JAPAN」 「テレビ版Yahoo! JAPAN」は、国内主要メーカーが発売するブラウザ搭載のテレビに画面デザインを最適化した。テレビの解像度は、機器によって異なるが、ヤフーでは各解像度の表示に対応できるよう複数の画面パターンを用意。トップページ画面に関しては、スクロールすることなく、1画面上で表示できるようにデザインした。 テレビ版では当初、トップページと検索トップページ、検索結果ページの画面デザインを最適化してサービスを提供。また、PC版へのアクセスになるが、ニュースや天気、スポーツ、12星座占いなどへのリンクも用意している。なお、サービス自体は、デジタルテレビ情報化研究会が策定したテレビ向けHT
Aho Corasick 法 - naoyaのはてなダイアリー
適当な単語群を含む辞書があったとします。「京都の高倉二条に美味しいつけ麺のお店がある」*1という文章が入力として与えられたとき、この文章中に含まれる辞書中のキーワードを抽出したい、ということがあります。例えば辞書に「京都」「高倉二条」「つけ麺」「店」という単語が含まれていた場合には、これらの単語(と出現位置)が入力に対しての出力になります。 この類の処理は、任意の開始位置から部分一致する辞書中のキーワードをすべて取り出す処理、ということで「共通接頭辞検索 (Common Prefix Search)」などと呼ばれるそうです。形態素解析、Wikipedia やはてなキーワードのキーワードリンク処理などが代表的な応用例です。 Aho Corasick 法 任意のテキストから辞書に含まれるキーワードをすべて抽出するという処理の実現方法は色々とあります。Aho Corasick 法はその方法のひと
天才になれる秘密 - teruyastarはかく語りき
という物をふと思い立った。 天才というのはコピーがうまい。 凡才はひたすら努力する。 たぶんこれが真理だ。 天才というのは自分でゼロから発明しようとはたぶん思わない。 宮本茂はスーパーマリオを 「これまでのいろんなゲームのいいとこどり」 と言ったがそれはつまり コピーの組み合わせでオリジナルを作ったわけで、 ゼロから１を生み出した訳じゃない。 これは現在の任天堂のゲーム機もそうだし Googleが、スティーブジョブスが、ビルゲイツでも みんなコピーの組み合わせの天才であり、 （Googleは他者のサービスを買収して組み合わせ、 WindowsはMacをコピー、Macはパロアルト研究所の発明をコピー） 手塚治虫や現代の有名漫画家も映画やアニメや文学、 写真、イラストのコピーをマンガに落とし込んだのであり その映画のスピルバーグやジョージルーカスやキューブリックなんかは 黒澤明をうまく組み合わ
グーグル、自社設計のサーバを初公開--データセンターに見る効率化へのこだわり - CNET Japan
カリフォルニア州マウンテンビュー発--Googleは、自社のコンピューティングの運用については多くを語らない。しかしGoogleは米国時間4月1日、当地で行われた、注目度が高まっているデータセンターの効率性に関するカンファレンスで、そのインターネットの力の中枢にあるハードウェアを初めて公開した。 ほとんどの企業は、DellやHewlett-Packard（HP）、IBM、Sun Microsystemsのような企業からサーバを購入している。しかしGoogleは、何十万台ものサーバを保有していて、そのサーバを稼働させることが自社の中心的な専門技術の一部だと考えており、自社独自のサーバを設計および構築している。Googleのサーバの多くを設計したBen Jai氏は、高度な技術を持つ、非常に熱心な聴衆の目の前で、現在のGoogleサーバを公開した。 Googleサーバで非常に驚くのは、サーバ1台
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
