MapReduceの中間データを保持する
MapReduceでジョブの実行時に生成される中間データは、ジョブの終了時に削除されます。これにより不要なデータは削除され、ディスク容量が圧迫されることがなくなります。 しかし、デバッグのために中間データを保持しておきたいと言うこともあるでしょう。今回はCDH3を使用した2つのやり方を紹介します。 1. 失敗時のみファイルを残す keep.failed.task.files このパラメータをtrueにすることにより、失敗したジョブの中間データは削除されないようになります。 2. 条件に基づいてファイルを残す keep.task.files.pattern このパラメータを”.*_m_0000.*”のように指定します。条件に一致したファイルは削除されません。 なお、CDH4からはパラメータ名が以下のように変更となりますのでご注意下さい。 keep.failed.task.files -> m
MapReduceできる10個のアルゴリズム - データサイエンティスト上がりのDX参謀・起業家
HadoopとMahoutにより、ビッグデータでも機械学習を行うことができます。Mahoutで実装されている手法は、全て分散処理できるアルゴリズムということになります。Mahoutで実装されているアルゴリズムは、ここに列挙されています。論文としても、2006年に「Map-Reduce for Machine Learning on Multicore」としていくつかのアルゴリズムが紹介されています。 そこで今回は、（何番煎じか分かりませんが自分の理解のためにも）この論文で紹介されているアルゴリズムと、どうやって分散処理するのかを簡単にメモしておきたいと思います。計算するべき統計量が、summation form（足し算で表現できる形）になっているかどうかが、重要なポイントです。なってない場合は、”うまく”MapReduceの形にバラす必要があります。 ※例によって、間違いがあった場合は随時
Cloudera Blog
The ongoing progress in Artificial Intelligence is constantly expanding the realms of possibility, revolutionizing industries and societies on a global scale. The release of LLMs surged by 136% in 2023 compared to 2022, and this upward trend is projected to continue in 2024. Today, 44% of organizations are experimenting with generative AI, with 10% having […] Read blog post
YSmart: Yet Another SQL-to-MapReduce Translator [pdf]
REU Undergraduate Fellow, Computer Science and Engineering
in-mapper combining - wyukawa's diary
並列分散処理の常識をHadoopファミリから学ぶ (3/3)：ビッグデータ処理の常識をJavaで身につける（2） - ＠ITが興味深かったのでここで紹介されている「in-mapper combining」について書いてみたいと思います。 Hadoop MapReduce デザインパターン ―MapReduceによる大規模テキストデータ処理の「3.1 ローカル集計」で示されている「in-mapper combining」というMapReduceのパターンがあります。 ＃そういえばHadoop MapReduce デザインパターンの3章まで読んでみた。 - wyukawa’s blogでは #「in-mapper combining」のエントリを書かなかったなー。 これは何かというとmapper内で集約してしまおうというものです。 しかしsetCombinerClassで集約関数を指定するのと
MapReduceのパターン、アルゴリズム、そしてユースケース - きしだのHatena
Ilya Katsov氏による「MapReduce Patterns, Algorithms, and Use Cases」の翻訳 http://highlyscalable.wordpress.com/2012/02/01/mapreduce-patterns/ (下書きに入れて推敲するつもりが、なんか公開されてしまっていたので、あとでいろいろ修正すると思います) February 1, 2012 この記事では、Webや科学論文で見られる異なるテクニックの体系的な視点を与えるために、数々のMapReduceパターンとアルゴリズムをまとめた。 いくつかの実用的なケーススタディも提供している。 すべての説明とコードスニペットでは、Mapper、Reducer、Combiner、Partitionaer、ソーティングにおいてHadoopの標準的なMapReduceモデルを利用します。このフレー
MapReduce Patterns, Algorithms, and Use Cases
In this article I digested a number of MapReduce patterns and algorithms to give a systematic view of the different techniques that can be found on the web or scientific articles. Several practical case studies are also provided. All descriptions and code snippets use the standard Hadoop’s MapReduce model with Mappers, Reduces, Combiners, Partitioners, and sorting. This framework is depicted in th
YARNの新機能 Capacity Scheduler - snuffkinの遊び場
Hadoopアドベントカレンダー2011 on Zusaarの12/18を担当する@snuffkinです。 さて、先日、Hadoop 0.23がリリースされました。 今回のリリースでは、HDFSフェデレーションや次世代MapReduce(YARN)といった新機能が導入され、アーキテクチャに大きな改良が加えられました。そのため、Hadoop 0.23は「メジャーバージョンアップのためのRC版」といった感じです。 そんなHadoop 0.23の中で私が注目している機能のひとつに「Capacity Scheduler」があります。以下のApacheのサイトを見るとCapacity Schedulerについて解説が書いてあります。 Hadoop MapReduce Next Generation - Capacity Scheduler Overviewの部分に書いてありますが、Capacity
MapReduce: Simplified Data Processing on Large Clusters
OSDI'04: Sixth Symposium on Operating System Design and Implementation, San Francisco, CA (2004), pp. 137-150 MapReduce is a programming model and an associated implementation for processing and generating large data sets. Users specify a map function that processes a key/value pair to generate a set of intermediate key/value pairs, and a reduce function that merges all intermediate values associa
Mapreduce2.0 - 急がば回れ、選ぶなら近道
次世代Hadoopの開発が進んでいる。現状の推移では、少なくとも分散クラウドでの「OSSインフラ」としてはHadoopが最有力候補であることは間違いない。クラウド上での分散処理基盤での技術競争ではGoogleやAmazonが相当抜きんでいる現在、それに対抗しうる可能性があるOSSはHadoopの潮流の延長線上にしか考えられない。その形としてHadoop-MapReduce2.0があるように見える。現在の状態で自分なりの次世代Hadoopの理解をまとめておく。基本的に全部は見切れていないので、そのあたりはあしからず。基本的に次世代Hadoopの仕組みは大きく二つの要素からなる 現在のところの柱はHDFSとMapreduce2.0の二つだ。 まずMapReduce。これは従来の「MapReduce」というものからはほど遠い。むしろ「任意」の分散処理実行フレームワークにたいして、適切なリソースを
Hadoop MapReduce デザインパターンの3章まで読んでみた。 - wyukawa's diary
Hadoop MapReduce デザインパターン ―MapReduceによる大規模テキストデータ処理 作者: Jimmy Lin,Chris Dyer,神林飛志,野村直之,玉川竜司出版社/メーカー: オライリージャパン発売日: 2011/10/01メディア: 大型本購入: 4人 クリック: 254回この商品を含むブログ (16件) を見る いわゆる子象本。小象でも小僧でも無いよw 監修者のブログの Hadoop MapReduce デザインパターン - 急がば回れ、選ぶなら近道 で詳しく紹介されています。 原著はこちら Data-Intensive Text Processing With MapReduce (Synthesis Lectures on Human Language Technologies) また原文のPDFをこちらから入手できます。 Jimmy Lin » Data
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Archive - Long-term storage for Google Code Project Hosting.
MapReduceでHBaseへ書き込むときの注意点
http://tech-sketch.jp/2012/03/hadoop-mapreduce1-1.html
[MAPREDUCE-3365] Uncomment eventlog settings from the documentation - ASF JIRA
[MAPREDUCE-3610] Some parts in MR use old property dfs.block.size - ASF JIRA
HadoopでMap/ReduceクラスのKey/Valueを自動判別する
https://issues.apache.org/jira/secure/attachment/12492875/ResourceManager.png
Large-Scale Graph Processing〜Introduction〜(完全版)
How does YARN compare to Mesos? What are the key differences?
