Hadoop MapReduceで行列積を計算する（ケース２）（Dense Matrix Multiplication with Hadoop MapReduce: Case2) - tetsuya_odakaの日記
前回のログでは、Case1として行列積の演算プログラムを示した。 しかしながら、5000行5000列の行列同士の演算に6時間以上の時間がかかってしまい、これでは「ビッグデータ」の探索的な分析では使えないだろう。 これまで、再三引用している「エコノミスト誌（6/4号）」の分析では、変量の数は300であり、サンプルサイズは51であった（これについては、以前のログで述べた）から、オーダーとしては、Case1のプログラムでも間に合う可能性がある。 しかしながら、同誌に掲載されている「Yahoo! JAPAN 景気指数」では60万語（60万変量）と、CIとの相関を調べている。 Case2では、Case1のプログラムを改良することにより、実行速度の向上をはかる。 Case1のスケーラビリティー評価のところでも述べたが、Case1の実行時間は「単純な算術演算の回数の増加」では説明できない。 MapRed
Mars:A MapReduce Framework on Graphics Processors の概要(日本語訳) - nishio-dens's diary
Mars:A MapReduce Framework on Graphics Processorsの論文についてまとめておきます．英語の訳は間違っている可能性があります． 出典: Bingsheng He, Wenbin Fang, Qiong Luo, Naga K. Govindaraju, Tuyong Wang: Mars: a MapReduce framework on graphics processors, In Proceedings of the 17th international conference on Parallel architectures and compilation techniques (2008), pp. 260-269. 概要 概要（原文） We design and implement Mars, a MapReduce framewor
機械学習 × MapReduce - ny23の日記
個人的な興味というより，雑用絡みで眺めた論文の紹介．機械学習アルゴリズムを並列分散化するという話が最近流行っているようだ．全然網羅的ではないけど，誰かの役に立つかも知れないので，幾つかメモしておく．まず古典的にはこれ， Map-reduce for machine learning on multicore (NIPS 2006) 古典的な機械学習アルゴリズム（バッチ学習）の多くは，Statistical Query Model で記述できて，それらは summation form で記述できる (から，MapReduce で並列化できる)．実装は Mahout．ただ最近は，バッチアルゴリズムで解ける問題には多くの場合対応するオンラインアルゴリズムが提案されていて，バッチアルゴリズムを並列化することのメリットはあまり無い．オンラインアルゴリズムだとパラメタが連続的に更新されるので，MapR
United States Patent: 7650331
Barroso, L.A., et al., "Web Search for a Planet: The Google Cluster Architecture," IEEE Micro, 23(2):22-28, Apr. 2003. cited by other . Ghemawat, S., et al., "The Google File System," 19th Symposium on Operating Systems Principles, pp. 29-43, Lake George, New York, 2003. cited by other . Rabin, M.O., "Efficient Dispersal of Information for Security, Load Balancing and Fault Tolerance," Journal of
MapReduce in CACM – Perspectives
Thanks for your comment Scott and hats off to you and the rest of the CACM team for consistently delivering a great magazine. I fully understand the tension between "free" and having paying members that allow for the good quality content to be published. Many argue that what I would like to see happen isn’t practical. I think it is practical but freely admit that it is difficult. What I have in mi
MapReduce: A Flexible Data Processing Tool – Communications of the ACM
MapReduce advantages over parallel databases include storage-system independence and fine-grain fault tolerance for large jobs. Mapreduce is a programming model for processing and generating large data sets.4 Users specify a map function that processes a key/value pair to generate a set of intermediate key/value pairs and a reduce function that merges all intermediate values associated with the sa
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoop Summit 2010 - Agenda
LinkedInのデータ基盤
Reddit - Dive into anything