Trying Nutch 2.0 HBase storage
Introduction It is likely one can run into issues using HBase as datastore for Nutch, especially with a commodity hardware that has very limited memory. This article follows up two posts: Build Nutch 2.0 Exploring Nutch 2.0 HBase Storage which explain how to setup Nutch 2.0 with HBase. Memory Issue In my case, HBase is running in an environment that consists of a laptop that only has 1 GB of memor
HBase導入メモ（スタンドアローン、CDH3、Ubuntu10.04） | mwSoft
こんな感じでRDBの表に近い構造を作ることができる。 Familyはテーブルが構造として持っている要素なので、追加、削除する時は一度テーブルを無効にしてAlterコマンドで操作をしないといけない。RDBのカラムに似ている。 Qualifierはテーブル構造を触らなくても動的に好きな値が設定できる。NULLでも構わない。 上で紹介したURLの本文中にも書かれていたように、Familyは中身が空のものが多数存在するような素な列を扱うのにも向いているらしい。この辺はRDBとのデータ構造の違いを感じるところ。 Key-Valueストアなので、行に対する検索は高速。指定した範囲の行に対する検索も高速。但し、KVSらしく高速に検索できるのはあくまで行に対してのみで、RDBのようにカラム1つずつに対して検索条件を設定するような小器用なことはできない。Filter使えばできなくもないだろうけど、もちろん速
Apache Gora™ - Welcome to Apache Gora™
The Apache Gora™ open source framework provides an in-memory data model and persistence for big data. Gora supports persisting to column stores, key value stores, document stores, distributed in-memory key/value stores, in-memory data grids, in-memory caches, distributed multi-model stores, and hybrid in-memory architectures. Gora also enables analysis of data with extensive Apache Hadoop MapReduc
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Exploring the Nutch 2.0 HBase Storage Backend
IBM Developer
OpenTSDB - A Distributed, Scalable Monitoring System
