MapR M7: Providing an enterprise quality Apache HBase API
Provides an overview of M7, which is the first unified data platform for tables and files. Does a deep dive into the MapR architecture, especially containers, and how M7 tables integrates with the rest of MapR architecture, including volumes, management and Hadoop. Describes some of the problems with Apache HBase, and how M7 from MapR solves many of these issues.
管理が困難―分散処理の常識はZooKeeperで変わる
管理が困難―分散処理の常識はZooKeeperで変わる：ビッグデータ処理の常識をJavaで身につける（8）（1/3 ページ） Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク／ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 分散処理の課題が「管理」なのは常識 複数の計算機上で動作（分散）するアプリケーション、ソフトウェアが多く存在します。分散ソフトウェアは複数の計算機で動作することで大量のデータを扱えたり、高負荷な状況に対処します。本稿では、複数の計算機（クラスタ）で動作する各サーバを「インスタンス」と呼びます。 本連載で紹介した分散Key-Valueデータベースである「HBase」は複数の計算機で動作する代表的なソフトウェアです。両ソフトウェアはともに「Apache ZooKeeper」（以下、Z
The Great Disk Drive in the Sky: How Web giants store big—and we mean big—data
Google technicians test hard drives at their data center in Moncks Corner, South Carolina Consider the tech it takes to back the search box on Google's home page: behind the algorithms, the cached search terms, and the other features that spring to life as you type in a query sits a data store that essentially contains a full-text snapshot of most of the Web. While you and thousands of other peopl
MapR(GreenPlumHD)の中身説明会参加
MapR(GreenPlumHD)の中身説明会に参加しました。「HadoopのC++実装らしい。」程度の予備知識しかない状態で参加したので、知らないことが多くて面白かったです。 思ったことなど MapRはEMCと提携していたのか。知らなかった。 MapR-FSは普通のファイルシステムは経由せずに、ブロックデバイスをそのまま使っている。 へー。 ビルトイン圧縮は拡張子で判断して圧縮の有効／無効を切り替えているのが面白い。jarやpptxをはじめ、最近はほとんど実態はzipな気がするので、ちゃんとフォーマットを見ないとダメでしょう。全然詳しくないけど、普通最初の4バイトくらいで判別できるんじゃないの？ 実機デモのサクサク感がすごかった！WebUI※1とNFSマウントしたときの操作※2。 「すげー速いよ。品質いいよ。」とは言っているけど、デモがサクサクなの以外は言っているだけだった。NTTデータ
MapR Architecture - fcicq’s hatena diary
by EMC Labs China, Xiang Dong Original Article in Chinese: http://qing.weibo.com/2294942122/88ca09aa330003zv.html Translated by fcicq ( @fcicq & id:fcicq) (fcicq: This is #20 entry for Hadoopアドベントカレンダー2011 http://www.zusaar.com/event/174001 Thanks to id:nagixx for http://d.hatena.ne.jp/nagixx/20111216/1324006829 , but I still wondering what will he write next :) I'm working on restoring my own Chi
HBaseの構造 - LunaBiblos
このCAP定理の考え方からすると、HBaseは一貫性/整合性とネットワーク分断耐性を選択したCP型に分類される。 データ構造 HBaseは主に以下に挙げる要素から構成されている。またこの構造はHBaseだけでなくKVSやカラム指向型DBにおいて良くみられる構造である。 Table Row ColumnFamily ･･･ (Column) Column ･･･ (Label) HBaseは名前のついたTableがあり、そこにRowと呼ばれるRDBMSの「レコード」に相当する形式でデータが保存されている。保存されている各データにはタイムスタンプが伴っており、このタイムスタンプを指定してデータを取得する事も出来る。もしタイムスタンプを指定せずにデータ取得を行った場合は最新の値のタイムスタンプを持つデータが返される。ColumnFamily単位での取得の様に複数の値を取得する場合でも、それぞれ
Data Applications and Infrastructure at LinkedIn__HadoopSummit2010
Hadoop Summit 2010 - application track Data Applications and Infrastructure at LinkedIn Jay Kreps, LinkedInRead less
How will Google's Dremel change future Hadoop releases?
Answer (1 of 7): The architecture of Dremel is quite similar to the architecture of Pig and Hive. All three have a columnar layout for persistent data [7], a metadata repository, a query execution engine, a physical planner, a logical planner, and a query parser for a higher-level query language....
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
