Google、HBase API互換のCloud Bigtableを公開、Googleの基盤で使われてきたNoSQLデータベースが利用可能に。Cloud Datastoreとの違いは？
Googleは5月6日、10年以上にわたりGoogleのほとんどの重要なアプリケーションを稼働させてきたNoSQLデータベースのBigtableを、クラウドサービスの「Google Cloud Bigtable」として公開しました。 Cloud BigtableはフルマネージドのスケーラブルなNoSQLデータベースで、高い性能が特長。大規模なデータ収集、分析などに向いているとされています。 HBase APIでアクセス可能なためHadoopのエコシステムを活用でき、またGoogleのBigQueryやDataflowといった既存のサービスとも連係。 Bigtableの上にDatastoreが構築されている GoogleはすでにマネージドなNoSQLデータベースとして「Google Cloud Datastore」を提供しています。BigTableとDatastoreはどう違うのでしょうか？
第1回 halookでHadoop/HBaseを可視化しよう | gihyo.jp
この連載では、HadoopやHBaseのトラブルを解決する手順をご紹介します。第1回目となる今回は、本連載のキーとなるツール「halook」を紹介します。「halook」はオープンソースで開発しているHadoop/HBase用の可視化ツールで、トラブルの発生を可視化して把握し、原因究明するために利用できます。まずは「halook」の概要から紹介します。 Hadoop、HBaseの難しさ Hadoopは大量データの保存と分散処理のために、数十台～数千台のマシンを扱います。そのため、何かトラブルがあったときに、どこに原因があるのか突き止めるのが難しい場合が多く、あるいは、そもそもトラブルが起こっていることに気付くのが遅れてしまうこともあります。たとえば、次のような点が挙げられます。 データは正しく分散配置されているか 処理は分散して実行されているか 設定ミスをしていないか 問題の報告の難しさ
EricssonのHBaseチューニング１ - pandazx's blog
以下の記事の意訳。けど、未検証。 HBase: Performance Tuners | Ericsson Labs 5000 row/secの処理性能だったところをチューニングにより、750,000 row/secを達成した。 本ブログでは集計プログラムについてのみ説明しているが、次回ブログではランダムアクセスにも対応できる説明があるらしい。 チューニング環境 対象レコードは91個の属性を持つ 少なくとも1億行をスキャンできる すべての属性に対して、ランダムアクセスするパターンのクエリを評価する 今回のクエリパターンは属性をカラムファミリーにまとめるのは難しい。そのため、いくつか対策を行った。 一つ目の対策はすべての属性を一つのカラムファミリーの別々のカラムとして格納するよう定義した。二つ目の対策は次回のブログで説明する。 クラスタ構成 master x1 slave x7 サーバはすべ
Cloudera QuickStart VMを使ってImpalaを試してみる - 偏った言語信者の垂れ流し
HDFSやHive、Impalaなど、Hadoop関連のソフトウェアやCloudera Managerの動作やをちょっと見てみたい、という場合、Clouderaが公開しているCloudera QuickStart VMを使うと良い。 https://ccp.cloudera.com/display/SUPPORT/Cloudera+QuickStart+VM VMWare、KVM、VirtualBox用のVMイメージが公開されている。 試したのはVMWare用のVMイメージ。メモリが4GB程度ないと重いので注意。 OVF形式なので、Windows上でVMWarePlayerで開くとインポートのダイアログが表示される。 インポートしてVMを起動すると、CentOSが立ち上がり、Firefoxでようこそ画面が表示される。 Impalaを試す場合、ブックマークのCloudera Managerを
最近のネタ３連発 - kuenishi's blog
立て続けにおもしろそうなネタに当たったので適当にコメントを。はてブでもいいんだけどね。 スケーラブルなシステムのためのHBaseスキーマ設計 17, 18枚目のスライドで爆笑してしまいその先は読んでない...といいつつ、22枚目でHBaseの使いどころについてはちょいと異論があり、データが沢山あるだけなら別に選択肢はあるわけでもうちょっと補足すると、HBaseの使い所は 数がいくらでも膨らみ、 Writeのレイテンシが割と要求され ネットワークまで含めてちゃんと設計できて いざというときにCloudera Managerなしでも5種類のサーバープロセスを面倒みれて KVだけのデータモデルだと若干物足りなくて JVMがGCで固まるなんてものともせず、 キーの順にシーケンシャルアクセスをしたい ときだけ。異論は認める。そうじゃなかったらRiakを使いましょう（ぇ というのは冗談だが、論理設計の
20分でわかるHBase
PyFes 2012.07 で発表したときのスライドです。 HBaseのアーキテクチャ周りを中心に話しました
HBase 基礎文法最速マスター - Stay Hungry. Stay Foolish.
基礎文法最速マスターが流行のようなので、 便乗して勉強がてらにHBaseの基本操作について纏めてみます。 Perl基礎文法最速マスター - Perl入門ゼミ はてな的プログラミング言語人気ランキング - Life like a clown これを読めばGoogleのBigTableのクローンであるHBaseの基本操作について何となく理解できるかも？です。 他の基礎文法最速マスターと同じように簡易リファレンスを兼ねていますので足りない部分をあればご指摘ください。 HBaseは2010-02-01時点で最新のHBase0.20.3を対象としています。 インストール方法については前記事を参照ください。 Cygwinを利用してWindowsにHBaseをインストール - Stay Hungry. Stay Foolish. 対話式シェルの実行 基本 HBaseではHBase Shellという対話式
Storage infrastructure using HBase behind LINE messages
Storage infrastructure using HBase behind LINE messages1 of 46
Announcing Phoenix: A SQL layer over HBase
We are pleased to announce the immediate availability of a new open source project, Phoenix, a SQL layer over HBase that powers the HBase use cases at Salesforce.com. We put the SQL back in the NoSQL: Available on GitHub at https://github.com/forcedotcom/phoenix Embedded JDBC driver implements the majority of java.sql interfaces, including the metadata APIs. Built for low latency queries through p
LINEの1億ユーザを支えるHBaseのチカラ─Hadoop Conference Japan 2013 Winterレポート（2） | gihyo.jp
LINEの1億ユーザを支えるHBaseのチカラ─Hadoop Conference Japan 2013 Winterレポート（2） 1月21日に開催された「Hadoop Conference Japan 2013 Winter」の基調講演では、先日、ついに1億ユーザを達成したメッセージングサービス「LINE」で利用されているHBaseの実態について、NHN JapanでLINEのストレージを担当する中村俊介氏が紹介を行いました。本稿ではその概要をレポートします。 NHN Japan 中村 俊介氏 最も重要視するのは「ストレージの高可用性」、HBaseはそのためにある FacebookやTwitterを抜くスピードで急成長を遂げるLINE。1月18日にはサービス提供開始からわずか19ヵ月で1億ユーザを達成し、大きな話題となりました。 急成長中のサービスを提供するために、その裏側で動くストレ
Eventbrite
Your version of Internet Explorer is not longer supported. Please upgrade your browser.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OpenTSDB - A Distributed, Scalable Monitoring System
スケーラブルなシステムのためのHBaseスキーマ設計 #hcj13w
ストリームデータ分散処理基盤Storm
How to run HBase shell against a remote cluster
HBase at Ameba
GitHub - Furyu/fluent-plugin-hbase: This library has been moved to yuuna/fluent-plugin-hbase in October 2014
GitHub - CompanyBook/massive_record: HBase ruby client
HBase本輪読会資料（11章）
HBase at LINE
