HBase本 - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 玉川竜司さんが翻訳された『HBase』をshiumachiさん経由でオライリー様から献本していただきました。ありがとうございます！ 献本していただいたから言うわけじゃないですが(笑)、これはHBaseを使う人にとっては必須の本ですねｗ どの章を見ても、「あ、この情報は要るよね！」というものばかり。 また、HBaseを使わない人でも最初の2章は大変勉強になるので、機会があったら見ておくと良いのではないかと思います。 以下、章ごとに興味深かった点を挙げてみます。 ■■■1章 HBaseの紹介 2年くらい前にHBaseやCassandraといったNoSQL の勉強会が盛り上がったが、その頃に聞かれた（そして最近はあまり聞かれなくなった）RDBMSとの比較やCAP定理等の話題がま
HBase Sizing Notes
Apache HBase, Accelerated: In-Memory Flush and Compaction HBaseCon
HBaseのデータ書き込みフロー - wyukawa's diary
馬本をつらつら読んだのでデータ書き込みのあたりについてメモがてら書いてみる。 HBaseはLog-Structured Merge-tree (LSM-tree)という技術を使ってデータの読み書きを行います。 LSM-treeはMemtable, SS Table, Commit Logという３つの記憶領域を使います。 Memtableはメモリ上の領域でHBase用語でいうとMemStoreになります。 SS Tableはディスク上の領域でHBase用語でいうとHFileになります。 Commit Logはディスク上の領域でHBase用語でいうとHLogになります。WAL(Write Ahead Log, 先攻先行書き込みログ)ですね。 HBaseでデータを書き込むとMemstoreとHLogに書き込まれます。 Memstoreが一定量に達するとHFileに書き込まれます。HFileは一度
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
HBaseのRow Keyの設計についてのメモ - wyukawa's diary
Facebook Messageで使われたり、LINEのストレージで使われたり、と事例も多く出てきているHBase（Bは大文字。これ重要）ですが、個人的に少し興味も湧いてきたのでちょっと調べてます。HBaseはLog-Structured Merge-tree (LSM-tree)というアーキテクチャを使っており大量データの書き込みに最適化されています。なので大量の書き込みがあり読み込みは直近のもののみというメッセージ系アプリに向いているんだと思います。 そういえば半額に釣られてManning | HBase in Actionも買ってしまいました。 この本の4章のRow Keyの設計についての話があってそれがちょっと面白かったので関連してRow Keyについて少し書いてみます。 まずHBaseはカラム指向のデータベースと呼ばれますがデータモデルは多次元ソートマップです。 図解すると下記の
ACID in HBase
By Lars Hofhansl As we know, ACID stands for Atomicity, Consistency, Isolation, and Durability. HBase supports ACID in limited ways, namely Puts to the same row provide all ACID guarantees. (HBASE-3584 adds multi op transactions and HBASE-5229 adds multi row transactions, but the principle remains the same) So how does ACID work in HBase? HBase employs a kind of MVCC. And HBase has no mixed read/w
Cloudian nosql casestudy_20120318
2012年3月18日開催InfoTalkにおけるプレゼンテーション資料です。Cloudianの概要、CloudianへのCassandraとRedisの実装、NOSQLデータベースの性能比較、独自開発のHyperStoreについて説明しています。
［Cloud Days Osaka］楽天、独自開発のHBaseクライアントをOSS化
楽天は2012年3月9日、オープンソースソフトウエア（OSS）のカラム型データベース（DB）「HBase」のクライアント「Sculptor, a HBase Client Framework」をOSSとして公開した。大阪市で開催されたクラウドコンピューティングの専門展「Cloud Days Osaka 2012」で、楽天のエンジニアである蒋逸峰氏（写真）が明らかにした。 HBaseは、OSSの分散バッチ処理ソフト「Hadoop」をベースにしたカラム型DBである。楽天では2010年から、様々なWebサイトのバックエンドにHBaseを使っている。今回同社が開発したSculptorは、DB管理者がHBaseのメンテナンスなどを行う際に使用するDBクライアントツールである。HBaseにも標準のシェルが用意されているが、「使い勝手が悪い」（蒋氏）ことから独自クライアントを開発した。 Sculptor
いまさら聞けないKVSの常識をHbaseで身につける
いまさら聞けないKVSの常識をHbaseで身につける：ビッグデータ処理の常識をJavaで身につける（3）（1/3 ページ） Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク／ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 ビッグデータの要！ KVSとは何なのか 「KVS（Key-Value Store）」とは、Key値を指定してValue値の格納や取得を行う方式です。それに対して、RDBではキー（プライマリキー）が必須ではなく、逆に複数のカラムをセットしてキーにすることもできます。 テーブル構造だけを見れば、KVSとRDBは似ています。例えば、RDBでプライマリキーと1つのBLOB型を持ったテーブルを作れば、KVSと同じような構造にもなります。しかし、RDBでKVSのまねごとをするのと、KVSとして
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HBaseCon 2012 参加レポート
[HBASE-3272] Remove no longer used options - ASF JIRA
MapReduceでHBaseへ書き込むときの注意点
[HBASE-3340] Eventually Consistent Secondary Indexing via Coprocessors - ASF JIRA
[HBASE-5634] document how to use uberhbck - ASF JIRA
[HBASE-5128] [uber hbck] Online automated repair of table integrity and region consistency problems - ASF JIRA
[HBASE-3335] Add BitComparator for filtering - ASF JIRA
Managing connections in HBase 0.90 and beyond
Designing an HBase Application
HBase and Accumulo | Washington DC Hadoop User Group
GitHub - hbase-sculptor/sculptor
