MapR Architecture - fcicq’s hatena diary
by EMC Labs China, Xiang Dong Original Article in Chinese: http://qing.weibo.com/2294942122/88ca09aa330003zv.html Translated by fcicq ( @fcicq & id:fcicq) (fcicq: This is #20 entry for Hadoopアドベントカレンダー2011 http://www.zusaar.com/event/174001 Thanks to id:nagixx for http://d.hatena.ne.jp/nagixx/20111216/1324006829 , but I still wondering what will he write next :) I'm working on restoring my own Chi
Hadoopディストリビュータ MapRはどうやってHDFSの弱点を克復したのか？
効率的に並列分散処理が行えるHadoopのアーキテクチャは、ビッグデータ時代にかなり有効な仕組みだろう。「とはいえ、Hadoopをいざ企業が利用しようとすると、さまざまな問題が発生します。発生する問題の多くは、Hadoopの分散処理を実現するためのファイルシステム『HDFS』にあります」と述べるのは、マップアール・テクノロジーズのセールスディレクター 平林良昭氏だ。 このHDFSの課題を解決するために、MapRでは独自のMapRファイルシステムを生み出した。そのMapRファイルシステムのLockless Storage Serviceアーキテクチャを考え出したのが、同社の創業メンバーでありChief Technology OfficerのM.C. Srivas氏。彼は、NetAppの前身であるSpinnaker NetworksでChief Architectを勤めた人物であり、専門はファ
@nagix さんによるMapR-M7解説
草薙 昭彦 @nagix 現行HBaseの色々な課題(コンパクションやリージョン分割・マージなどを意識する必要があり運用管理が難しい、障害復旧に時間がかかる、等)は、HDFSのダメさ具合とHadoopの分散システムの中にHBaseの分散システムを構築するという複雑さが主な要因になっている 2012-12-20 14:03:51 草薙 昭彦 @nagix HDFSはWrite Onceのファイルシステム。分かりやすく例えるとCD-Rのようなもの。ファイルのわずかな部分を書き換えるために全てのデータを読み込んでメモリ上で一部分を更新し、全てのデータを書き込む必要がある。ファイルシステムといいつつプリミティブな機能しか備えていない 2012-12-20 14:18:15 草薙 昭彦 @nagix MapRが行った改良はこのHDFSをMapR-FSに置き換えて同時アクセス・ランダムR/W可能な先進
インサイド MapR (1) （Hadoop アドベントカレンダー 2011 16日目） - nagix
この記事は Hadoop アドベントカレンダー 2011 の16日目の記事です。 今年の5月にMapR Technologies社から発表された、独自実装のHadoopディストリビューション（以降、単純にMapRと呼びます）ですが、そのユニークな特徴やオープンソース実装のはるか先をいく先進性から、いろいろなところで注目を集めています。ただ、非常に多彩な機能を持ちながら、これどうやって実現しているの、という風に思っている方も多いと思います。私はお仕事柄MapRの実装を若干詳しく知る立場におりますので、MapRの中身を少し掘り下げてみたいと思います。 MapRはHadoopのどこを改良しているのか MapR TechnologiesはもともとGoogleでGFS、BigTable、MapReduceなどの検索基盤技術を担当していたエンジニア M.C. Srivas 氏などが中心となって3年ほど
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
分散ファイルシステム比較 | Hadoop Times
Previous Versions
Design, Scale and Performance of MapR's Distribution for Hadoop
HPE Ezmeral: Uncut Blog | HPE Blogs, Discussions and Forums Community
