HBase on Flash
HBase on Flash Presentation Transcript Fusion-io Confidential—Copyright © 2013 Fusion-io, Inc. All rights reserved.Fusion-io Confidential—Copyright © 2013 Fusion-io, Inc. All rights reserved.HBase on FlashMatt KennedyHBaseCon June 13, 2013 Switch your database to flashnow. Or you’re doing it wrong.Brian Bulkowski, Aerospike CTO and co-founderJune 10, 2013 2http://highscalability.com/blog/2012/12/1
LINEの1億ユーザを支えるHBaseのチカラ─Hadoop Conference Japan 2013 Winterレポート（2） | gihyo.jp
LINEの1億ユーザを支えるHBaseのチカラ─Hadoop Conference Japan 2013 Winterレポート（2） 1月21日に開催された「Hadoop Conference Japan 2013 Winter」の基調講演では、先日、ついに1億ユーザを達成したメッセージングサービス「LINE」で利用されているHBaseの実態について、NHN JapanでLINEのストレージを担当する中村俊介氏が紹介を行いました。本稿ではその概要をレポートします。 NHN Japan 中村 俊介氏 最も重要視するのは「ストレージの高可用性」、HBaseはそのためにある FacebookやTwitterを抜くスピードで急成長を遂げるLINE。1月18日にはサービス提供開始からわずか19ヵ月で1億ユーザを達成し、大きな話題となりました。 急成長中のサービスを提供するために、その裏側で動くストレ
分散データベース「HBase」の安定運用を目指して - Preferred Networks Research & Development
1年経ってiPhone4の電池がヘタってきた、太田です。 指数関数的にエントリ数が少なくなってきた本ブログですがw、景気付けのためにエントリを投稿したいと思います！本日はHBaseについてです。 Linux と Hadoop と HBase と ZooKeeper に詳しいあなた！あなたがターゲットです。 HBaseとは? HBaseとは、HDFS (Hadoop Distributed File System)上に構築された分散データベースです。大量の非常に細かいデータをリアルタイムに読み書き出来るのが特徴です。最近ではFacebook Messageの基盤技術として使用された事で注目を集めています。 HBase公式サイト Apache HBase ブック 保存されたデータはHDFS上に保存され、HDFSの仕組みによってレプリケーションされるため安全にデータを保持することが出来ます。 ま
Cloudera Blog
In an era where artificial intelligence (AI) is reshaping enterprises across the globe—be it in healthcare, finance, or manufacturing—it’s hard to overstate the transformation that AI has had on businesses, regardless of industry or size. At Cloudera, we recognize the urgent need for bold steps to harness this potential and dramatically accelerate the time to […] Read blog post
HMaster Japan: HBase: Java VM の GC とメモリー関連の設定
2010年6月6日日曜日 HBase: Java VM の GC とメモリー関連の設定 Question: Java VM のガベージコレクション（GC）の挙動が、リアルタイム性能に影響を与えたりしないでしょうか？ Answer: フルGCの発生や慢性的なメモリー不足などにより、HBase が稼動している Java VM が一時停止すると、DB操作のレスポンス悪化につながります。また、一時停止の時間が数十秒を超えると、そのノードが HBaseクラスターから切り離される（ノードが自主的にシャットダウンする）こともあります。 これらについては、以下の方法で予防できます。 Java VM のガベージコレクタとして、Sun Java 6 の CMS GC（コンカレント マーク＆スイープ GC）を選択します。HBase 0.20 以降では、CMS GC はディフォルトで選択されていますので、設定の変
Apache HBase 入門 (第１回)
The document discusses big data and Hadoop concepts. It covers Hadoop operations like put, get, scan, filter, delete as well as join and group by. It also discusses the different types of data access patterns like random write, sequential read, sequential write and random read. The document focuses on big data, Hadoop operations, and data access patterns.Read less
HMaster Japan
2010年6月1日火曜日 HBase について、今後 回答していきたい質問など Hadoop ソースコードリーディングの際に、主に Twitter タイムライン上で見かけた HBase に関する質問・疑問点をリストアップしました。今後、少しずつ回答していきますので、よろしくお願いします。（回答の順序は多少前後するかもしれません） Java VM のガベージコレクション（GC）の挙動が、リアルタイム性能に影響を与えたりしないでしょうか？ HDDの代わりにSSDを使うと random read の性能は向上しますか？ Big Dataとはどういうものを指しますか？ → @yutuki_r さんからの補足： Fat、Wide、Wide&Sparse、Tallという分類法 リージョンのサイズはどのくらいに設定されていますか？ NULL値がディスクスペースを消費しない(?) のはなぜですか？ 追
HMaster Japan: HBase入門 - 5月27日発表
2010年5月30日日曜日 HBase入門 - 5月27日発表 Hadoop ソースコードリーディング（第２回）にて、HBaseを紹介しました。 HBaseの特徴 ユースケース（事例紹介） 当日は80名を超えるHadoopファンの方々にご来場いただきました。最後まで熱心に聞いていただきありがとうございました！ 参考：当日の Twitter まとめ 次回以降は、以下の内容を予定しています。 【６月】HBaseとCassandraの比較（設計上のトレードオフを理解する） 【７月】HBaseでつまずきやすい点と、ロードマップ（次期メジャーリリースの紹介） スライドは事前に公開する予定です。実は、英語・日本語版共に下書きはできていて、HBaseの開発リーダーのレビュー済みなんです。 ただ、会場で、Cassandraの開発チームにもレビューしてもらうと、より充実したプレゼンになるのでは？と
に参戦してきた - PolyPeaceLight
アジェンダ @okachimachiorzさんによるHadoopトレーニング2日目 -ここからが本番編- @ryu_kobayashiさんによるMapReduce障害がおきたときのフロー @fujibeeさんによる--cacheFileオプションからジョブ実行時のファイル分散の仕組みをコード読み @tatsuya6502さんによるHBase入門 LT @yamiuraさんによるWiki解析 @ryu_kobayashiさんによるHadoop+Cassandra @hamburger_kidさんによるHive vs Pig Hadoopトレーニング2日目 MapReduce障害が起きたときのフロー --cacheFileオプションからジョブ実行時のファイル分散の仕組みをコード読み 自己紹介 @fujibeeさん hadoop papyrus INTEROPに参加 TypeWithMe --c
Hadoopソースコードリーディング第2回
Hadoopのソースコードを読んでHadoopの基礎知識や使い方を学ぶ会の第2回です。 日 時：平成22年5月27日19時から22時まで 定 員：150名 続きを読む
Hbaseのキャッシュ設定についてのTwitterのログ - Guutaraの日記
Twitterで、@tatsuya6502(Tatsuya Kawano (@tatsuya6502) | Twitter)さんが、色々、教えてくれていたので 揮発性の頭脳としては、忘備録として書いておかなくては。。 補足：http://jp.hmaster.info/で、色々な資料を公開されています。 最初は、キャッシュ設定の例を教えてくれていた。 tatsuya6502. @yutuki_r 今朝の HBase のキャッシュ関連の件ですが、僕のおすすめの基本設定を教えます ( 2010-04-23 01:04:50 )tatsuya6502. @yutuki_r まず、hbase-env.shで、 HBASE_HEAPSIZEを最低でも2000に設定してください。これにより、-XX:+UseConcMarkSweepGCが有効に働いて、ガベージコレクションの影響を受けにくくなります (
HBaseメモ(Hishidama's HBase Memo)
HBase(エイチベース)は、GoogleのBigTableを元にしたオープンソースの列指向分散データベース。（リレーショナルデータベース（RDB）ではない） Javaで作られており、Apache HadoopのHDFSを使用して稼動する。その為、Hadoopとの親和性が高いと思われる。 インストール 初回設定 [/2010-08-07] 擬似分散環境 [/2010-07-06] hbase-site.xml [/2010-07-25] HBaseの起動・停止方法 テーブル操作サンプル テーブル構造の考え方 HBase Shell HBase0.20 [/2010-07-12] HBase0.89 [2010-07-12] Javaプログラミング [/2012-04-28] Map/Reduceサンプル [/2012-04-28]
SQLとHbaseの操作比較 - LunaBiblos
概要 ここではHbaseで使われるHbase Shellに関しての説明を行います。 従来のSQLの処理と、それに相当するHbase Shellの書き方を並べて記述しています。 ここでは基本的にSQLをHbase Shellで書いたら、を解説します。 Hbase Shell独自の機能はHbased独自の操作を参照してください。 RDBが二次元構造だったのに対してHbaseは三次元構造になっている為、最初はちょっと解りにくいかも知れません。 参考:Hadoop Wiki Hbase/Shell Hbase0.2のhelpの取得結果:Hbase:0.2Help RDBとHbaseの差異 全て主語は「Hbase」です。 IndexはCreate文ではなくInsert文で作る Indexに相当するRowのみが検索条件の対象と成ります。 Tableの有効無効概念があり、無効状態のTableの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HBase at LINE
)
HBaseとCassandraの比較(図) - LunaBiblos
HBaseの更新ログとRegionServerダウン時の挙動
Google Groups
Hbase:Javaからの利用 - LunaBiblos