Hadoop のコモディティはローエンドという意味ではない - 科学と非科学の迷宮
Hadoop に関するよくある勘違いの一つとして、「古いマシンを有効活用できる」というものがあります。 その根拠となるのが、公式サイトを含めあちこちで書かれる「コモディティサーバの上で動く」という一文です。 The Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. 404 Not Found しかし Hadoop本9章などにも書かれている通り、コモディティサーバとはローエンドサーバという意味ではありません。 あくまで「複数のベンダから入手可能なサーバ」という意味であって、決して安いサーバを意味しているわけではないのです。 メモリだけあれば古いマシンが蘇る memcached とかとは訳が違います。 例えば2010年3月時点でのCl
Hadoopのセカンダリソートを避け、より高速に値をソートする方法
HadoopのReduceに渡されるのはキーと値のリストだが、このとき値のリストに含まれる各アイテム（値そのもの）はソートされていない。ソートされていて欲しい場合にはセカンダリソートと呼ばれるテクニックを使うのが定石とされているが、これは実装の面でも概念的な面でもバッドノウハウ的な側面がある。Hadoopには「キーをソートする」機能は実装されている。そこで、値をキーに入れてしまい、このHadoopに備わっている「キーをソートする」機能によって、実質的に値をソートしようというわけだ。 Map/Reduceというのはキーごとにデータを分割して処理する方法なので、「キーに値が入ったら分割がおかしくなるんじゃ？」と思うのは当然である。キーに値が入っていても、分割に影響しないよう、Partitioningクラスを自分で拡張し、分割の基準となる値（本来のキー）には、値の影響が出ないようにするのだ。それ
プログラミング Hive
本書は、Hadoop上でSQLライクなクエリ操作を可能にするHiveについて、基礎から応用までを詳細に解説した書籍です。データ型とファイルフォーマット、またHiveQLのデータ定義、操作などの基礎的な事柄から、関数、ストリーミング、Thriftサービス、さらにAWSやHCatalogなどの応用まで、Hiveについて必要な事柄を豊富なサンプルとともにわかりやすく解説します。 日本語版では、Microsoftの佐藤直生氏による「Windows Azure HDInsight Service」、Clouderaの嶋内翔氏による「Cloudera Impala」、「Hive 0.10 の新機能」、「HiveServer2」を追加。ビッグデータに関心のあるすべてのエンジニア、必携の一冊です。 訳者まえがき はじめに 1章 イントロダクション 1.1 HadoopとMapReduceの概要 1.1.1
Cloudera配布VMwareパッケージで簡単Hadoop学習環境構築のつづき - takadayuichiのはてなブログ
引き続いて利用方法についてメモしておきます。 基本的に、ホストOSからゲストOSへsshでログインして利用しています。 まず、VMwareのcloudera-demo-vmを起動。 そして、cloudera-demo-vm内のターミナル起動して、ipアドレス確認。 [cloudera@localhost ~]$ ifconfigその後、macのターミナル起動。 sshでclouderaユーザとしてログイン hiveの起動・実行 今度は、macのWebブラウザからhadoopのWebUIとHueを見てみます。 NameNode : http://${cloudera-demo-vmのipアドレス}:50070/dfshealth.jsp JobTracker : http://${cloudera-demo-vmのipアドレス}:50030/jobtracker.jsp Hue : http
Hadoopの内部動作を可視化できるソフト、AcroquestがOSSとして公開
Acroquest Technologyは2012年11月9日、分散処理フレームワークのHadoopや、Hadoop上に構築する分散データベースのHBaseの内部動作を可視化するソフトウエア「halook」をオープンソースソフトウエア（OSS）として公開すると発表した。halookでは、WebブラウザからHadoopで構築したクラスター間のデータの偏りや、クラスターのタスクなどを確認できる。 Hadoopの分散ファイルシステムでは、クラスターを構成するDataNodeにデータを分散させて保存する。各クラスター内に保持しているデータは、できるだけ均等に保つことが望ましい。各クラスターに保存されているデータ量に偏りがあると、データ量が大きいクラスターに処理が集中してしまい、サーバーの台数を増やしても処理能力がスケールしない可能性があるためだ。 halookの「HDFSDataDistribut
これから Hadoop を学ぶ人向け読書ガイド - 科学と非科学の迷宮
なんだかんだで Hadoop 周りの本も結構増えてきましたので下にまとめました。 抜けてるのもあると思うので(特に和書)、なんかお薦めありましたらコメントください。追加します。 タイプ別お薦め読書コース 短期間で全部読むのは不可能なので、とりあえず簡単にお薦めの読書コースを紹介します。 非技術者(営業や経営者など) 象本1章と徹底入門1章だけ読んどけばいいです。余裕があれば象本16章(ケーススタディ)。読んでる暇あったらその人件費で技術者にいいPC買ってあげてください。 技術者(共通) 象本読まないとかありえないです。 別に全部読む必要ないですが、とりあえず 1-10章ぐらいは目を通してください。 それも時間的に難しいならせめて3章か4章ぐらいまで目を通してください。 可能なら徹底入門と並行して読んでください。書き方の切り口が違う2つの書籍を読むことで理解が深まります。 Hadoop 技術
Welcome to Apache™ Hadoop™!
This is the first release of Apache Hadoop 3.4 line. It contains 2888 bug fixes, improvements and enhancements since 3.3. Users are encouraged to read the overview of major changes. For details of please check release notes and changelog. This is a release of Apache Hadoop 3.3 line. It contains 117 bug fixes, improvements and enhancements since 3.3.5. Users of Apache Hadoop 3.3.5 and earlier shoul
並列分散処理の常識をHadoopファミリから学ぶ
Hadoopプロジェクトは3つの「サブプロジェクト」で構成されています。 Common：Hadoopの基本機能FileSystem、RPC、Serializationのライブラリ HDFS：分散ストレージを仮想的に1つに扱うためのファイルシステム MapReduce：膨大なデータセットをクラスタ上で分散処理するためのソフトウェアフレームワーク これらが、「Hadoopファミリ」の核であり、並列分散処理機構を支えています。それ以外の「関連プロジェクト」は2011年12月時点では下記のようになっています。 Avro：Commonの持つ機能を拡張したデータシリアライズシステム Cassandra：単一障害点のないスケーラブルなマルチマスタデータベース Chukwa：大規模な分散システムでのデータ収集システム HBase：大規模な構造化データをサポートする、スケーラブルな分散データベース Hive
Perl で MapReduce - Mahout Frequent Pattern Mining Data - - hamadakoichi blog
最近、Perl も書き始めてみたので、Hadoop 上で分散実行できる Perl での MapReduce 実装を紹介する。大規模データマイニング・機械学習のライブラリ Apache Mahout の Parallel Frequent Pattern Mining の入力データを生成する Perl MapReduce 実装の紹介。 Frequent Pattern Mining 入門 Frequent Pattern Mining (Association Analysis )は、隠されたルールパターンを抽出するアルゴリズム。有名な例としては、1992年のウォルマートのクリスマス商戦で「おむつを買った人は半ダースのビールを買う可能性が最も高い」という頻出ルールを抽出し、商品陳列に活かした売上向上した事例。 入門資料： 第５回R勉強会＠東京 で話してきた - 「R言語によるアソシエーション
2010年まとめ:データと向き合った一年 - 科学と非科学の迷宮
はじめに:2010年弾丸ツアー 今年一年を一言でまとめると、「データと向き合った」一年でした。 2009年の終わり、私は The Datacenter as a Computer の読書会を通して、分散システムによる大量なデータの処理がこれからの時代にもっと重要になるということを学びました。 The Datacenter as a Computer 読書会 その流れを受け、1月には id:marqs や id:daisukebe とともに「集合知プログラミング」の読書会を開き、データマイニングの基礎を勉強しました。 大量のデータを扱う前に、小さなデータを扱う術を身につける必要があると思ったからです。 Programming Collective Intelligence 100111View more presentations from Sho Shimauchi. 第1回集合知プログラ
Hadoop MapReduceプログラムを解剖する
オープンソース・ソフトウェア「Hadoop」のMapReduceジョブは、標準ではJavaで記述します（その他には、Pig、Hive、JAQLといったものがあります）。しかし、意外と初心者には分かりにくいと筆者は感じます。本記事では、MapReduceジョブのサンプルコードを使って、できる限り正しくコードの意味を理解し、MapReduceへの入り口を示したいと思います。 HadoopでMapReduceを記述するときに使うAPIが、0.19から0.20に変わるところで新しくなっています。実は、現時点でHadoopプロジェクト本体からでさえも、新APIを使ったサンプルが提示されていません。本記事では、新しいAPIで筆者が書き直したサンプルを使って解説しますので、このサンプルは0.19以前のHadoopでは動かないことに注意してください。この記事は、0.20.2を使って検証し、解説しています。
Bigtable - Wikipedia
Bigtable（ビッグテーブル）とは、Googleの大規模なサーバ上の大量のデータを管理するために設計された、データ圧縮機能を持つ高性能なNoSQL型のプロプライエタリのデータストレージシステムである。Google File System、分散ロックマネージャの1種であるChubby Lock Service、SSTable（LevelDB（英語版）に似たログ構造化ストレージ）、その他のいくつかのGoogleの技術を活用して構築されている。2015年5月6日、パブリックバージョンのBigtableが、Google Cloud Platformのサービスの1つとして公開された。BigtableはGoogle Cloud Datastoreのバックエンドとしても利用されている[1][2]。 2004年から開発が始まり[3]、2006年には設計が論文として公開された[4]。 MapReduce
月間57億PV、300台のサーバを運用するミツバチワークスが編み出したインフラ技術
ミツバチワークスのエンジニアは、「月間57億PV」という巨大なトラフィックをさばくため、さまざまな技術を駆使してインフラを構築している。主と副の2本立てでデータベースを運用し、300台のサーバを使いながら「負荷の限界」に挑むエンジニアに、技術ノウハウを聞く。 ミツバチワークスが運営するケータイブログサービス「DECOLOG」は、異色のサービスである。10代後半から20代前半の女性に最も人気のあるケータイブログサービスで、「デコメール」などを利用して、かわいくカラフルなブログを作成できる。広告基準を厳しくすることで女性ユーザーにも不安なく使ってもらえるような安心感を作り出し、口コミだけでじわじわとアクセス数を伸ばしてきた。 結果、2010年7月実績で月間57億PV（ページビュー）超、想定800万UU（ユニークユーザー）、会員登録者数180万件と、ケータイブログサイトでは国内最大のサービスとし
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Administering Oracle Big Data Appliance
Amazon.co.jp: はじめてのHadoop ~分散データ処理の基本から実践まで: 田澤孝之, 横井浩, 松井一比良: 本
TechCrunch
Amazon.co.jp: パターンでわかるHadoop MapReduce ビッグデータのデータ処理入門 (NEXT‐ONE): 三木大知: 本
Hadoop徹底入門 | 翔泳社
Amazon.co.jp: リストマニア
分散Key-Valueストアの本命「Bigtable」