Hadoop、hBaseで構築する大規模分散データ処理システム：CodeZine
はじめに この連載では、大規模分散計算フレームワーク「Hadoop」と、その上につくられた大規模分散データベース「hBase」の仕組みと簡単なサンプルアプリケーションを紹介します。HadoopとhBaseは、Googleの基盤ソフトウェアのオープンソースクローンです。機能やコンセプトについては、Googleが発表している学術論文に依っています。 これらの学術論文によると、Googleでは大規模分散ファイルシステム「Google File System」、大規模分散計算フレームワーク「MapReduce」、大規模分散データベース「BigTable」、分散ロックサービス「Chubby」という4つのインフラソフトウェアが使われています。 図1にGoogleの基盤技術間の依存関係、そしてそれに対応するOSSの対応関係を示しました。まずは対応するGoogleの基盤技術それぞれの機能や特徴をざっくりと
Hadoop、hBaseで構築する大規模分散データ処理システム：CodeZine
2. Hadoop & hBaseの概要 Googleの基盤ソフトウェアに共通する特徴は、非常にスケーラブルかつ故障に強いということです。Googleでは全世界中のデータを処理しないといけない訳ですから、大量のマシンでデータを保持・処理するための技術が必要であるのはある意味必然です。 本連載で紹介するHadoop、hBaseは、これらGoogleの基盤ソフトウェアのオープンソースクローンです。HadoopはGoogle File SystemとMapReduce、hBaseはBigTableに相当します。Chubbyのオープンソース実装はまだありません。 最近はWebアプリケーションが全盛期を迎え、以前よりも多くのデータやログを蓄積されている企業も多いかと思います。しかし、データはあってもそれらを有効に活用できていないことが多いのではないでしょうか。 Googleの基盤ソフトウェアクローン
Hadoop Quickstart
The purpose of this document is to help you get a single-node Hadoop installation up and running very quickly so that you can get a flavour of the Hadoop Distributed File System (HDFS) and the Map/Reduce framework; that is, perform simple operations on HDFS and run example jobs. Supported Platforms GNU/Linux is supported as a development and production platform. Hadoop has been demonstrated
Welcome to Apache™ Hadoop™!
This is the first release of Apache Hadoop 3.4 line. It contains 2888 bug fixes, improvements and enhancements since 3.3. Users are encouraged to read the overview of major changes. For details of please check release notes and changelog. This is a release of Apache Hadoop 3.3 line. It contains 117 bug fixes, improvements and enhancements since 3.3.5. Users of Apache Hadoop 3.3.5 and earlier shoul
HadoopMapReduce - HADOOP2 - Apache Software Foundation
How Map and Reduce operations are actually carried out Introduction This document describes how MapReduce operations are carried out in Hadoop. If you are not familiar with the Google MapReduce programming model you should get acquainted with it first. Map As the Map operation is parallelized the input file set is first split to several pieces called FileSplits. If an individual file is so large t
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PAC Learner (HDFS)