Hadoop HBase操作サンプル(Hishidama's Hadoop HBase sample Memo)
HBaseのテーブルは、qualifierの中はデータ追加で自動的に増やせるが、family（列）はテーブルを一旦使用不可にして項目追加を行わないと増やせない。 したがって変化の無いものを列（family）にする方がいいんじゃないかと思う。 （試験名の方を可変にしておけば、模試とか補習(苦笑)とかにも対応できるし） 準備：テーブルの作成 今回のサンプル用に、HBase Shellからcreateコマンドを実行するか、HBaseのテーブル作成APIを使ってテーブルを作成しておく。 HBase Shellの場合 hbase(main):001:0> create 'student','personal','suugaku','kokugo','rika','shakai','eigo','total5' HBase APIの場合 package jp.hishidama.hadoop.hbas
HBase と Serialization - takahi-iの日記
Hadoop で計算したデータは HDFS にファイルとして保存するのが手軽ですが、出力されたファイルに含まれるデータ片にアクセスするにはファイルを全ロードする必要があって面倒です (MapFile にはランダムアクセスできますが)。このような場合データベースにデータを格納すると格納された個々のデータ片アクセスできて便利です。 そこで HBase という データベースにデータを格納し、後でそのデータを取り出すという処理について調べてました。HBase は Hadoop のサブプロジェクトであり、キーバリューペアのデータを格納できます。HBase ではシリアライズされたオブジェクトを入れておいて、後でデシリアライズすることでオブジェクトを元通り復元することができます。 HBase のシリアライズの仕方については、HBase の Serialization テストを見ると書いてあります。ただ少
バッチ処理時間の短縮を実現するHadoop技術とは？（その２）｜大量データのバッチ処理時間短縮はHadoop(ハドゥープ)技術で。
Hadoop（ハドゥープ）とは、Googleの分散ファイルシステムを応用して オープンソース化したプラットフォームです。 分散ファイルシステムとは、複数のマシンのディスクを組み合わせて 1つのファイルシステムとして見せる技術です。 これは1つのディスクで保存しきれないような大量のデータを並列化することで 非常に高速に効率良く処理することができるのです。 Hadoopプラットフォームは安全です。 分散ファイルシステムにより、同じファイルを異なるマシンに重複して持たせることで、 一台のマシンが故障した場合でもファイルが失われません。 つまり、耐障害性の高い・安全性の高いとプラットフォームであると言えるのです。 Hadoopプラットフォーム、始まりはGoogleから・・・ グーグルが独自に開発したMapReduceは、 同社の検索エンジンを支える中核技術であるため詳細は未公開ですが、
HBase - HADOOP2 - Apache Software Foundation
HBase: Bigtable-like structured storage for Hadoop HDFS HBase has an awesome community resource in our online book. It's maintained and looked after with diligence. In contrast, the below Wiki content has not been updated since 2012. For that reason, the Wiki has been deprecated (see HBASE-14481). Please update your links. You can find historical pages (which have been updated to give the new link
HBase 入門 (1) - こども(てれび)
Hadoop と HBase で分散処理が書けるのはわかったけど、いざ使ってみるとなるとドキュメントが少なくて……、というあなたの為の HBase 入門、今回はセットアップから Java の API で HBase を触るまでを勉強します。 使用するバージョンは Hadoop 0.17.2.1、HBase 0.2.1 です。 0. 参考ページ http://hadoop.apache.org/core/docs/r0.17.2/ FrontPage - Hadoop Wiki http://hadoop.apache.org/core/docs/r0.17.2/api/index.html Hbase - Hadoop Wiki http://hadoop.apache.org/hbase/docs/r0.2.1/api/index.html 1. Hadoop のセットアップ http:
HBaseの開発者がHadoop、BigTable、分散データベースについて語る
Google が最近リリースしたGoogle Application Engineと、それが持つBigTableへのアクセス機能により、（RDBの）代替となるデータベース技術への感心が新たに盛り上がっている。数週間前にInfoQは、GoogleのBigTableデータベースから着想を得て始められた、Hypertableプロジェクトの創始者であるDoug Juddにインタビュー(source)を行った。今週InfoQは、HBase(サイト・英語)の主要な開発者であるJim Kellerman 、Michael Stack、Bryan Duxburyへのインタビューを行った。HBaseはオープンソースで分散型、列指向のデータストアで、BigTableを手本として作成された物である。 1. HBaseについて初めて聞く、と言う方に対しての説明をお願いします。 HBase はオープンソースで分散型
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://lunarium.info/arc/index.php/Hadoop/Hbase_Cluster