MapReduce - naoyaのはてなダイアリー
"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。 MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapReduce の計算モデル map() にはその計算問題のデータとしての key-value ペアが次々に渡ってきます。map() では key-value 値のペアを異なる複数の key-value ペアに変換します。reduce() には、map() で作った key-value ペアを同一の key で束ねたものが順番に渡ってきます。その key-values ペアを任意の形式に変換すること
Hadoop/HBase Clusterの構築 - LunaBiblos
概説 HBaseの完全分散環境の構築迄を目的として手順を纏めたページです。 HBase動作の基盤となるHadoopをInstallしてHadoop Clusterを構築します。続いてHBaseをInstallしてHBase Clusterを構築します。 Hadoopの構築 最初にHadoop Clusterを構築します。下記リストの1から6を行えば動作させる事が出来ます。 追加情報の項目にあるのは各種設定ファイルの解説になるので、必要に応じて参照してください。 No項目名説明
WindowsでPHP + Hadoop Streamingをやってみようとしたが挫折した
Hadoop Streamingのデバッグをローカルでやりたかったのでcygwin立ち上げてjava –versionって打ってみたら、WindowsのJavaのパスが通ってたので案外動くんじゃないかとやってみた。結論からいうとJavaさえ動けばHadoop自体はそれほどプラットフォームに依存しないのでcygwinでも簡単にHadoopは動いた。デバッグ用にスタンドアロンで実行するだけならcygwinでもいけそうだがHadoop Streamingはちょっと面倒だ。というか挫折した。 一応cygwinでhadoopする技をメモると hadoopを/usr/localに配置 cd /usr/local wget http://www.meisei-u.ac.jp/mirror/apache/dist//hadoop/core/hadoop-0.21.0/hadoop-0.21.0.tar.g
Hadoop Streamingで分散処理をPHPでやってみた - Stellaqua - ＴＯＭの技術日記
「何番煎じか分からないけど集合知プログラミングをPHPでやってみたシリーズ」で扱っている集合知プログラミングは、とかく計算量が多くなりがちで、うまくアルゴリズムを作らないとメモリ不足に陥りがちです。 現に前回の記事では、その越えられない壁を体験してしまったので、「どげんかせんといかん。」という事で、最近ちょっと興味のある、Googleのバックエンドでも使われている"MapReduce"に関して少し調べてみました。 "MapReduce"に関しては、「"Googleを支える技術"読め。以上。」でもいいんですが、id:naoyaさんが書かれている記事が非常に分かりやすかったので、その記事のリンクを貼っておきます。 →MapReduce - naoyaのはてなダイアリー "Googleを支える技術"もせっかくだからAmazonのリンクを貼っておきます。 Googleを支える技術 ?巨大システムの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Baiduライブラリ：無料ドキュメント共有サービス
