BigTable Model with Cassandra and HBase
Recently in a number of "scalability discussion meeting", I've seen the following pattern coming up repeatedly ... To make your app scalable, you try to make your app layer “stateless”.OK, so you move the "state" out from your application layer out to a shared DB, or shared data layer.Now, how do we make the data tier scalable, by definition, we cannot make the data tier stateless.OK, now lets thi
Riak and Cassandra and HBase, oh my! « Blog of Data
We are marching along in our integration of HBase with the Socorro Crash Stats project, but I wanted to take a minute away from that to talk about a separate project the Metrics team has also been involved with. Mozilla Labs Test Pilot is a project to experiment and analyze data from real world Firefox users to discover quantifiable ways to improve our user experience. I was very interested and e
CentOS に Hadoop, Pig, Hive, HBase をインストール - (ﾟ∀ﾟ)o彡 sasata299's blog
2010年07月12日20:12 CentOS に Hadoop, Pig, Hive, HBase をインストール CentOS5.4 に Hadoop, Pig, Hive, HBase をインストールする備忘録です。まずは JDK をインストールします。JDK6 以上が必要です。 # http://java.sun.com/javase/ja/6/download.html から JDK6 をダウンロード sudo sh jdk-6u21-linux-i586-rpm.bin java -version # 1.6.0_21 次に、yum で簡単にインストールするために、リポジトリを追加します。これでインストールが格段に楽になりますね。 wget http://archive.cloudera.com/redhat/cdh/cloudera-cdh3.repo sudo mv clo
どぅーちゅいむーにー
沖縄にコストコができるっていう話は知ってましたが、あまりにも人がオープン待ちしすぎたから3時間半早めて4時半にオープンしたんだとか。意味わからん（っていう表現よく使ってたなーって思い出した）。 多少早めるのはわからなくもないですが、3時間半早めてオープンが午前4時半って・・・オープニングスタッフも電話とかして早くでてもらったんですかねぇ。お疲れ様です。 そんなワタクシはコストコにはいったことはありません。 最初はなんかよくわからない短編が続き・・・と思ったら繋がっていく物語。 ちょいとファンタジーな要素もありましたが、最後の流れはなんとまぁ。殺し屋たちのシンフォニー？ バナーのあとに少しネタバレ。 ７７７ トリプルセブン (角川書店単行本) 作者:伊坂 幸太郎 KADOKAWA Amazon コーラはちょっとあっけなかった感じがしなくもなかったけど、ヤツの強さなのか。 オチのもっていきかた
Erlang, Thrift and HBase | (defun side of kungfooguru)
Since documentation is lacking for Thrift and HBase (and Erlang), though the examples in Thrift’s code are pretty good, I figured as I got things going I’d post snippets. I assume you have Erlang installed, but I will suggest checking out Erlware for setting up Erlang and installing releases and applications. First, download Thrift and HBase. The Thrift instructions are below. However, note you ne
に参戦してきた - PolyPeaceLight
アジェンダ @okachimachiorzさんによるHadoopトレーニング2日目 -ここからが本番編- @ryu_kobayashiさんによるMapReduce障害がおきたときのフロー @fujibeeさんによる--cacheFileオプションからジョブ実行時のファイル分散の仕組みをコード読み @tatsuya6502さんによるHBase入門 LT @yamiuraさんによるWiki解析 @ryu_kobayashiさんによるHadoop+Cassandra @hamburger_kidさんによるHive vs Pig Hadoopトレーニング2日目 MapReduce障害が起きたときのフロー --cacheFileオプションからジョブ実行時のファイル分散の仕組みをコード読み 自己紹介 @fujibeeさん hadoop papyrus INTEROPに参加 TypeWithMe --c
Replication architecture in Cassandra and HBase
Now i’m research distributed database architecture. I found a very interesting article. http://www.roadtofailure.com/2009/10/29/hbase-vs-cassandra-nosql-battle/comment-page-1/ Apache Cassandra and Hadoop Hbase are most popular distributed database. Twitter and Facebook are using Cassandra. These solution is started from Google Big Table. So the data model is very similar. The data model is called
Hadoopリンクまとめ(1) - 科学と非科学の迷宮
Part1 / Part2 更新履歴 2010/06/20 リンク追加 入門、事例紹介、ニュース Part2へ移動 EC2、Pig、MapReduce、HDFS 新規追加 性能測定 公式 Welcome to Apache Hadoop! 日本語訳 Hadoopユーザー会 Welcome to Hadoop MapReduce! "大規模な計算ノード・クラスタ上において膨大なデータを高速で並列処理するアプリケーションを作成するためのプログラミングモデルおよびソフトウェアフレームワーク" Welcome to Pig! "大規模なデータセットを分析するためのプラットフォーム""Pig の言語レイヤを構成しているのは、Pig Latin と呼ばれるテキストベースの言語" wikipedia Apache Hadoop - Wikipedia, the free encyclopedia Apa
File: getting_started
Getting Started Install HBase or Cassandra HBase: guides/hbase_install.rdoc Cassandra: guides/cassandra_install.rdoc Usage Generators Once Bigrecord is working in your Rails project, you can use the following generators: script/generate bigrecord_model ModelName This will add a model in app/models and a migration file in db/bigrecord_migrate. Note: This generator does not accept attributes. script
HBase 基礎文法最速マスター - Stay Hungry. Stay Foolish.
基礎文法最速マスターが流行のようなので、 便乗して勉強がてらにHBaseの基本操作について纏めてみます。 Perl基礎文法最速マスター - Perl入門ゼミ はてな的プログラミング言語人気ランキング - Life like a clown これを読めばGoogleのBigTableのクローンであるHBaseの基本操作について何となく理解できるかも？です。 他の基礎文法最速マスターと同じように簡易リファレンスを兼ねていますので足りない部分をあればご指摘ください。 HBaseは2010-02-01時点で最新のHBase0.20.3を対象としています。 インストール方法については前記事を参照ください。 Cygwinを利用してWindowsにHBaseをインストール - Stay Hungry. Stay Foolish. 対話式シェルの実行 基本 HBaseではHBase Shellという対話式
HBase hbase-site.xmlメモ(Hishidama's HBase hbase-site.xml Memo)
HBaseの定義ファイルのメモ。 HBASE_HOME/confの下にhbase-default.xmlとhbase-site.xmlがある。 デフォルトではhbase-default.xmlには色々書かれているが、hbase-site.xmlの方は空っぽ。 Javaプログラムからは使用する定義ファイルを指定できる。 HBase Shellのデフォルト状態はhbase-default.xmlとhbase-site.xmlの設定を使っている模様。 完全分散環境になるとマスターとなるマシンから持ってきたhbase-site.xmlを使うことになるらしい。 とりあえず単独環境や擬似分散環境では関係なし。
HBase Shellメモ(Hishidama's HBase Shell Memo)
drop テーブル テーブルを削除するコマンド。 →Java APIのdeleteTable() 削除する前にテーブルを使用不可にしておく必要がある。 hbase(main):034:0> drop 'test5' IOError: Table test5 is enabled. Disable it first hbase(main):035:0> disable 'test5' 0 row(s) in 2.0630 seconds hbase(main):036:0> drop 'test5' 0 row(s) in 0.0150 seconds 0 row(s) in 0.0000 seconds 0 row(s) in 0.0470 seconds disable/enable テーブル テーブルの使用可否を切り替えるコマンド。 （テーブルの定義を変更する際はテーブルを使用不可にす
HBase vs Cassandraに関する河野氏からの意見
「才能を非生産的な事に浪費してこそ、真のヲタクである」 この名言にかなう為に日々色々学ぶ日々(多分)。 tatsuya6502 #Cassandra と #HBase の件ですが、Apacheのトップレベルプロジェクトなのか、サブプロジェクトなのかというのは、それぞれのプロジェクト自身が選択することなので、「Apache的にはこちらが優勢」といった考え方はないと思います #Cassandra と #HBase は、それぞれ得意とする分野も異なりますので、両方に存在意義がありますし、開発メンバーも全く別なので、開発の優先順位をつける必要もないはずです #HBase の場合は、 Hadoop の各コンポーネント（HDFS、ZooKeeper、Map Reduce）があって初めて成り立つ製品ですし、大規模なデータセットを意識していますので、 Hadoop のサブプロジェクトになっている現在の形が
Lessons Learned from Using Hadoop and HBase in Production
Some notes and questions about ☞ ReadPath’ usage of HBase and Hadoop. The dictionary processing went from a system that was having trouble keeping up with the incoming stream of content ( ReadPath adds ~1,500 new items / minute) to one that could completely rebuild a dictionary from 250 Million content items in under 3 hours (this equates to ~1,400,000 items / minute). This sounds extremely cool,
HBase Architecture 101 - Write-ahead-Log
What is the Write-ahead-Log you ask? In my previous post we had a look at the general storage architecture of HBase. One thing that was mentioned is the Write-ahead-Log, or WAL. This post explains how the log works in detail, but bear in mind that it describes the current version, which is 0.20.3. I will address the various plans to improve the log for 0.21 at the end of this article. For the term
Jason Harwig
ABOUT NEAR INFINITY AT NEAR INFINITY, we know software development. We serve a range of customers in the federal government as well as the commercial sector, specializing in the financial, intelligence and security industries. FAST Delivering great software, fast AGILE Using effective, customer-centric Agile development practices BEST Hiring only the most qualified and passionate technologists NEW
Cloudera Blog
In an era where artificial intelligence (AI) is reshaping enterprises across the globe—be it in healthcare, finance, or manufacturing—it’s hard to overstate the transformation that AI has had on businesses, regardless of industry or size. At Cloudera, we recognize the urgent need for bold steps to harness this potential and dramatically accelerate the time to […] Read blog post
HBase vs. BigTable Comparison
HBase is an open-source implementation of the Google BigTable architecture. That part is fairly easy to understand and grasp. What I personally feel is a bit more difficult is to understand how much HBase covers and where there are differences (still) compared to the BigTable specification. This post is an attempt to compare the two systems. Before we embark onto the dark technology side of things
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Charming Python: Functional programming in Python, Part 3
HBase on Cloudera Training Virtual Machine (0.3.2)