前回までに、Redhut Enterprise Linux の EC2 を用意できたので、 ついにそこにHadoopをインストールしてみる。 Hadoopと一言で言っても、現在は、 Apache Hadoop本家のオープンソースプロジェクトCDHApache HadoopをベースにCloudera社がパッケージングし、サポートを行うものMapRApache Hadoopと互換を保ちつつ、米MapR社がHDFS層をC++で再実装したものと、いくつかのリビジョンが存在する。 それぞれ、CDHもMapRもCommunity版が存在するし、MapRも30日試用フル機能ライセンスも あるので、どれを選んでもとりあえずは問題ない。 ここでは、私が使い慣れているっていうのと、CDHならブログとして面白くないって意味もあり、 MapRをインストールするものとする。 シングルノードのMapRのインストール方
1. MapR & マルチテナント (include Mesos検証) Hadoopソースコードリーディング 第8回 2012/02/08 (水) 中野 猛 (RECRUIT) @tf0054 - 発表内容 - 高林 貴仁 (RECRUIT) 1. 性能検証 @tatakaba 大坪 正典 (NSSOL) 2. 機能検証(マルチテナント検証) @tsubo0423 3. リクルートにおけるMapRの評価 Copyright(C)2012 Recruit Co.,Ltd All rights reserved 3. DOC.ID 2012/02/08 1. 性能検証 検証内容 サマリ処理のバッチは中古車サイトで実際に行われてい た3つ処理をHiveに置き換え、非パーティション+非圧縮 とパーティション+圧縮の2パターンを測定し検証の実施 VCA01 – 20Tableから、5つのTem
米MapR Technologiesは12月6日(米国時間)、「Apache Hadoop」を容易に利用できる「MapR Distribution 1.2」を発表した。Apache Hadoopや関連コンポーネントをまとめて配布する「Hadoopディストリビューション」で、本バージョンではWindowsとMac OS Xの両クライアントのネイティブサポートなどが加わっている。 MapRはApache Hadoopを専業とするベンチャー企業で、企業がHadoopを容易に利用できるようディストリビューションを開発している。5月にHadoopをベースに独自機能を加えたものを初公開しており、今回はそのアップデートリリースとなる。 バージョン1.2では、C/C++ APIのサポートを拡大した。C/C++ libhdfsの実装によりJava仮想マシンを回避してファイルシステムにアクセスできるようになっ
この記事は Hadoop アドベントカレンダー 2011 の16日目の記事です。 今年の5月にMapR Technologies社から発表された、独自実装のHadoopディストリビューション(以降、単純にMapRと呼びます)ですが、そのユニークな特徴やオープンソース実装のはるか先をいく先進性から、いろいろなところで注目を集めています。ただ、非常に多彩な機能を持ちながら、これどうやって実現しているの、という風に思っている方も多いと思います。私はお仕事柄MapRの実装を若干詳しく知る立場におりますので、MapRの中身を少し掘り下げてみたいと思います。 MapRはHadoopのどこを改良しているのか MapR TechnologiesはもともとGoogleでGFS、BigTable、MapReduceなどの検索基盤技術を担当していたエンジニア M.C. Srivas 氏などが中心となって3年ほど
EMCジャパンとノーチラス・テクノロジーズは2012年1月19日、分散バッチ処理ソフト「Hadoop」を基幹系システムのバッチ処理に適用するソリューションで協業すると発表した。EMC版のHadoopディストリビューション「Greenplum HD Enterprise Edition(EE)」と、ノーチラスのアプリケーションフレームワーク「Asakusa Framework」を組み合わせて提供する。 EMCは同日、Greenplum HD EEの日本市場での販売を開始した。Greenplum HD EEは、Apacheソフトウエア財団のオープンソースソフトウエア(OSS)である「Apache Hadoop」をベースに、性能や可用性などを強化したディストリビューションだ。分散ファイルシステムとして、標準の「HDFS」ではなく、米MapRテクノロジーズが開発した「MapR FS」を採用。C/C
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く