Hflush11
1 Append/Hflush/Read Design Hairong Kuang, Konstantin Shvachko, Nicholas Sze, Sanjay Radia, Robert Chansler Yahoo! HDFS team 08/06/2009 1. Design challenges With hflush, HDFS needs to make the last block of an unclosed file visible to readers. This presents two challenges: 1. Read consistency. At a given time different replicas of the last block may have different number of bytes. What read consis
MapReduceによる大規模データ処理 at Yahoo! JAPAN
1. MapReduceによる大規模データ処理 at Yahoo! JAPAN 2011/09/26 ヤフー株式会社 R&D統括本部 角田直行、吉田一星 2. 自己紹介 角田 直行(かくだ なおゆき) R&D統括本部 プラットフォーム開発本部検索開発部 開発4 – 2005年 ヤフー株式会社入社 – Yahoo!地図 – Yahoo!路線 – Yahoo!検索 … – 2011年現在、検索プラットフォームを開発中 1 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 3. 自己紹介 吉田 一星(よしだ いっせい) R&D統括本部 プラットフォーム開発本部検索開発部 開発4 – 2008年 ヤフー株式会社入社 – 検索プラットフォームでHadoopに関する開発 – 画像処理、iPhone向け技術開
Efficient Parallel Set-Similarity Joins Using MapReduce
Department of Computer Science University of California, Irvine Abstract In this paper we study how to efficiently perform set-similarity joins in parallel using the popular MapReduce framework. We propose a 3-stage approach for end-to-end set-similarity joins. We take as input a set of records and output a set of joined records based on a set-similarity condition. We efficiently partition the dat
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Using random numbers in Hadoop MapReduce is dangerous
Reading files quickly in Java
Parallelized bloom filter creation with Map/Reduce
Decision Trees & Hadoop - Part 1: Data
Lightweight Trie
Inactive or retired community
