MapReduce Patterns, Algorithms, and Use Cases
In this article I digested a number of MapReduce patterns and algorithms to give a systematic view of the different techniques that can be found on the web or scientific articles. Several practical case studies are also provided. All descriptions and code snippets use the standard Hadoop’s MapReduce model with Mappers, Reduces, Combiners, Partitioners, and sorting. This framework is depicted in th
これから Hadoop を学ぶ人向け読書ガイド - 科学と非科学の迷宮
なんだかんだで Hadoop 周りの本も結構増えてきましたので下にまとめました。 抜けてるのもあると思うので(特に和書)、なんかお薦めありましたらコメントください。追加します。 タイプ別お薦め読書コース 短期間で全部読むのは不可能なので、とりあえず簡単にお薦めの読書コースを紹介します。 非技術者(営業や経営者など) 象本1章と徹底入門1章だけ読んどけばいいです。余裕があれば象本16章(ケーススタディ)。読んでる暇あったらその人件費で技術者にいいPC買ってあげてください。 技術者(共通) 象本読まないとかありえないです。 別に全部読む必要ないですが、とりあえず 1-10章ぐらいは目を通してください。 それも時間的に難しいならせめて3章か4章ぐらいまで目を通してください。 可能なら徹底入門と並行して読んでください。書き方の切り口が違う2つの書籍を読むことで理解が深まります。 Hadoop 技術
MapReduceのパターン、アルゴリズム、そしてユースケース - きしだのHatena
Ilya Katsov氏による「MapReduce Patterns, Algorithms, and Use Cases」の翻訳 http://highlyscalable.wordpress.com/2012/02/01/mapreduce-patterns/ (下書きに入れて推敲するつもりが、なんか公開されてしまっていたので、あとでいろいろ修正すると思います) February 1, 2012 この記事では、Webや科学論文で見られる異なるテクニックの体系的な視点を与えるために、数々のMapReduceパターンとアルゴリズムをまとめた。 いくつかの実用的なケーススタディも提供している。 すべての説明とコードスニペットでは、Mapper、Reducer、Combiner、Partitionaer、ソーティングにおいてHadoopの標準的なMapReduceモデルを利用します。このフレー
Special Interview Hadoopの生みの親は語る、「まずは“生”の情報をすべて格納せよ」 - Computerworld
日本でも大量の非定形データなどの処理に有効なソリューションとして注目されるようになったApache Hadoop。その生みの親であり、名付け親でもある米国クラウデラ チーフ アーキテクトのダグ・カッティング(Doug Cutting)氏が、2011年9月1日に開催2日目を迎えた「Cloud Computing World Tokyo 2011」＆「Next Generation Data Center 2011」（主催：CIO Magazine/Online、Computerworld）の基調講演のために来日した。手には謎のぬいぐるみ。まずは、その理由に迫った。 interview ＆ text◎CIO Magazine編集部 名付け親は当時2歳の息子？ ── 基調講演の後に来場者からの記念撮影の要望に応えていましたが、そこでもそのぬいぐるみをお持ちでしたよね。 このぬいぐるみは、もとも
Hadoopの異端さが面白い - wyukawa's diary
Hadoopはほんとブームです。バブルだと言っていい気がします。各種セミナーはすぐに埋まりますし、実際に聞きに行くと会場は満員です。 この分野は日本だとNTTデータが先頭をきったように見えます。 NTTデータ、Hadoopの商用ディストリビューション「CDH3」を販売開始 | 日経 xTECH（クロステック） またHadoop専業会社「ノーチラス・テクノロジー」というのもできました。 ウルシステムズとイーシー・ワンが経営統合、Hadoop専業会社を立ち上げ | 日経 xTECH（クロステック） しかし最近では富士通やIBMもHadoopソリューションを展開しておりレッドオーシャンな感じです。 富士通がビッグデータ分析・活用向けのPaaSサービス | 日経 xTECH（クロステック） 日本IBM、表計算のように分析できるHadoopソフト新版「BigInsights」 | 日経 xTECH（
TwitterやFacebookで使われている「Apache Hadoop」のメリットや歴史を作者自らが語る
大規模データの分散処理を支えるJavaソフトウェアフレームワークであり、フリーソフトウェアとして配布されている「Apache Hadoop」。その作者ダグ・カティング（Doug Cutting）さんが「Cloud Computing World Tokyo 2011」＆「Next Generation Data Center 2011」において「Apache Hadoop: A New Paradigm for Data Processing」という講演をしていたので聞きに行ってきました。 満員の客席。 皆様を前にして講演できることを大変光栄に思っております。「Apache Hadoop」について皆様に伝えていきますが、これはまさにデータ処理の新たなるパラダイムを提供するものではないかと私は思っております。 まずは簡単に自己紹介をさせていただきましょう。私は25年に渡ってシリコンバレーで仕
HBase Workshop in Tokyo #001
Presentation for HBase Workshop in Tokyo #001 May 20th, 2011Read less
Cloud9: A MapReduce Library for Hadoop
Cloud9 is a MapReduce library for Hadoop designed to serve as both a teaching tool and to support research in data-intensive text processing. MapReduce is a programming model for expressing distributed computations on massive datasets and an execution framework for large-scale data processing on clusters of commodity servers. Hadoop provides an open-source implementation of the programming model.
Making Hadoop Work in More Places With Hadapt – Old GigaOm
A Yale computer science project has turned into a company that’s attempting to combine the scalability of Hadoop with an ability to perform analytics with both structured and unstructured data. Hadapt launches today at the Structure: Big Data conference in New York, with an undisclosed amount of seed funding and the goal of making Hadoop more broadly applicable for analytics. The company, which wa
[O] Hadoop Conference Japan 2011 に参加してきました #hcj2011
overlasting.net 2019 Copyright. All Rights Reserved. The Sponsored Listings displayed above are served automatically by a third party. Neither the service provider nor the domain owner maintain any relationship with the advertisers. In case of trademark issues please contact the domain owner directly (contact information can be found in whois). Privacy Policy
次世代Hadoopは10,000台にスケールアウトし、MapReduce以外のフレームワークをもサポートする - nokunoの日記
Yahoo!のブログにHadoopに関する興味深い記事が上がっていたので紹介したいと思います。かなりボリュームのある記事で翻訳するのは骨が折れました。The Next Generation of Apache Hadoop MapReduce · Yahoo! Hadoop Blog原題はシンプルに「次世代のApache Hadoop MapReduce」です。 概要大規模データを扱うビジネスでは、少数の大規模なクラスタのほうが多数の小規模なクラスタよりも安価になります。大規模クラスタは多くのデータセットを処理し、多くのジョブと多くのユーザをサポートする必要があります。ApacheのHadoop MapReduceフレームワークはだいたい4,000台程度でスケーラビリティの限界が来ます。私たちは次世代のApache Hadoop MapReduceを開発しており、そこではフレームワークを汎
Intro to Wukong, a Ruby Framework for Hadoop | blog.infochimps.org
As Flip Kromer was quoted at the Strata Conference, “Java has many many virtues, but joy is not one of them”. A lot of developers might not think they can use Hadoop simply because they never learned or refuse to use Java. Wukong allows you to leverage the agility and ease of use of Ruby with Hadoop. The same program you write on your machine can be deployed to the cloud. In this video at Data Da
Scala で Hadoop を試してみる | Atsushi TATSUMA Web Page
はじめに Scala で Hadoop 用の jar ファイルを作ってみました。作ってみたのはよくある単語を数えるプログラムです。 環境は、Debian GNU/Linux に Cloudera 社の Hadoop をインストールしたものです。 準備 Scala で作った jar ファイルを実行するために、scala-library.jar を Hadoop のライブラリに配置します。 この作業は、マスターとスレーブの全マシンで行う必要があります。 [bash] $ cd /usr/lib/hadoop/lib/ $ sudo ln -s /usr/local/lib/scala/lib/scala-library.jar scala-library.jar [/bash] ライブラリの追加を反映させるため tasktracker と jobtracker の再起動が必要にな
Search results - The developerWorks Blog
Offline First Heads to Europe for Offline Camp Berlin - The developerWorks Blog Skip to content The developerWorks Blog Topics Artificial Intelligence Blockchain Cloud Computing Data & Analytics DevOps Internet of Things Java Development ... https://developer.ibm.com/dwblog/2017/offline-first-camp-berlin/ Operating Systems & IT Infrastructure Archives - The developerWorks Blog Skip to content The
Open Sourceな、分散ファイルサーバ（ストレージ） - HDFSはファイルサーバに使うもんじゃない派 - Guutaraの日記
Hadoopには、HDFSという、分散ファイルシステムがあって、こいつを、ストレージに使いたい！って、人が多いんだが、自分の考えでは、どうにも、うまく行くとは思えない。 以下みたいな、感じに、思っている。。 HDFSはファイルサーバーに使うものじゃないよ - Togetterまとめ HDFSをファイルサーバーに使った事例があるようですよ - Togetterまとめ じゃ、なんかないのかって、捜してみたんだが。。。 以下が、ざっと、調べたところ。。 色々、あるんだが、どうなんだろぅ。試してみないとわからんなぁ。。 実績は、ないけど、Cephには、期待はしているんだけど。。 でも、fuse使うのとかって、どうなんだろう。。 ファイルサーバなら、NTFSとかNFSとかも、使えないと厳しそうだしね。。 Lustre http://wiki.lustre.org/index.php/Main_Pag
Hadoop - 三上俊輔の研究日記 分割可能なLZO圧縮をhadoopで使う
Twitterでは基本的にファイルはLZO圧縮しているようで， 3,4倍のストレージの節約 分割可能 CPUは少ししか使わない IOバウンドのジョブは3,4倍の性能向上 などのメリットがあると言っています．これは使わない手はないということで試してみました． clouderaのこのブログ記事を参考にして進めます． code.google.com/p/hadoop-gpl-compressionもありますが，Twitterが公開している分割可能なのを使います． http://github.com/kevinweil/hadoop-lzo 今回の環境はclouderaのamiをベースにしました． cloudera-ec2-hadoop-images/cloudera-hadoop-fedora-20090623-x86_64 ami-2359bf4 CDH3で，hadopoのバージョンは
HBaseとはどんなNoSQLデータベースなのか？ 日本語で読める情報を集めてみた
Facebookが新しいサービス「Messages」の基盤として、NoSQLデータベースの「HBase」を選択したことを、先日の記事「Facebookが新サービスの基盤にしたのは、MySQLでもCassandraでもなく、HBaseだった」で紹介しました。 HBaseは、Facebookによると次のような特徴を備えていると説明されてます。 負荷に対して非常に高いスケーラビリティと性能を発揮 CassandraよりもシンプルなConsistency Model（一貫性モデル）を備えている 自動ロードバランス、フェイルオーバー、圧縮機能 サーバーごとに数十個のシャードを割り当て可能、などなど このHBaseはどのようなデータベースなのでしょうか？ 情報を集めてみました。 HBase入門のプレゼンテーション 最初に紹介するのは「HBaseエバンジェリスト」Tatsuya Kawano氏のプレゼン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoopを用いた大規模ログ解析
Build and implement a single sign-on solution
Jimmy Lin » Data-Intensive Text Processing with MapReduce