米Facebook、HBaseの信頼性を強化した「HydraBase」を発表――99.999%の可用性を実現 | OSDN Magazine
米Facebookは6月5日、社内で開発を進めている新プロジェクト「HydraBase」構想を発表した。キーバリュー型データストア「Apache HBase」の信頼性を強化したものとなり、99.999％の可用性を実現可能という。 FacebookがHydraBase開発に至った経緯として、2010年にメッセージ機能を強化した際に採用したHBaseがある。ここでFacebookは、Facebook Message、SMS、チャット、電子メールなどを1つに統合するにあたり、高い書き込み性能、水平型のスケールアウト、一貫性、高可用性を評価してHBaseを採用しシステムを構築した。その後はオンライン分析処理などのワークロードにもHBaseの利用を拡大、現在はメッセージのほか、内部のモニタリングシステム、、検索インデックス、ストリーミングデータ解析などにも利用しているとのことだ。同社が先日ローンチし
HTraceによるHBaseのトレーシング - iwasakimsの日記
(この記事は、Hadoop Advent Calendar 2013の10日目の記事です) 並列分散処理の解析 HadoopやHBaseのような並列分散環境では、処理が多数のノードをまたがって実行されるために、トレーシングや性能のプロファイリングが難しくなります。各ノードで動作するサーバプロセスのロジックでは、他のノードにRPCで処理を依頼して結果を非同期に待つというパターンが多いため、CPUやネットワークのディスクのI/O帯域といったリソースを使い切る状況にはなりにくく、oprofileのようなプロファイラを利用して測定してみても、ボトルネックの手がかりがなかなか見つかりません。 そのような並列分散処理のトレーシングに利用しているツールとしてGoogleが発表したのがDapperで、例によってそれを参考にして作られたオープンソース実装としてHTraceがあります。HBaseのtrunkに
HBase 0.96 で導入される新しいコンパクション「Exploring Compaction」 - 科学と非科学の迷宮
Hadoopアドベントカレンダー2013、3日目を担当する @shiumachi です。 今回は HBase 0.96 の新機能を一つ紹介します。 要約 HBase 0.96 は賢くなったのでみんな使おう。 コンパクションのおさらい HBase では、Log Structured-Merge tree (LSM-tree) というデータ構造を使っています。 LSM-tree を簡単に説明すると、入力されたデータをログとメモリ上のデータストア(Memstore、メモリストア) に書き込みます。 メモリストアがいっぱいになると、まとめてディスクにフラッシュし、新しいストアファイルを生成します。 このストアファイルがたまってきたときに、少しづつ一まとめにしてなるべくファイル数を少なくするようにします。これがコンパクションです。 コンパクションを実行することにより、ファイルは一つにまとまります。こ
なぜApache HBaseを選ぶのか？ #cwt2013
#cwt2013 ClouderaのJonathan Hsieh @jmhsieh によるHBaseの最新情報のスライドを公開しました。CDH5のHBase 0.96では耐障害性が強化され、障害発生時も書き込みは数秒、読み込みは10秒以内に復旧します。Read less
企業向けHadoopの上位版はApache HBaseの諸問題を解決した
米MapR Technologiesは、企業向けに性能や可用性を高めたHadoop互換ソフトを開発しているベンダーである。国内では、OEM（相手先ブランドによる生産）製品の「EMC Greemplum MR」（旧称はGreemplum HD）が先行して販売されてきた。2013年4月には、日本法人「マップアール・テクノロジーズ」を設立。9月19日には、国内販売代理店2社（ノーチラス・テクノロジーズと新日鉄住金ソリューションズ）と正式にパートナー契約を交わしたことを発表。これにより、今後はEMC Greemplum MRに加え、自社ブランドでも日本市場で展開することになった。同社幹部に、ユーザーから見た自社ブランド製品の意義を聞いた。 大きく二つある。一つは、販売チャネルが広がることだ。これまで日本市場に提供してきたEMC Greemplum MRの販売チャネルに加えて、オリジナルブランドの製
HBase論争に釣られてみる - 科学と非科学の迷宮
HBaseコミッター達による、NoSQLの記事への反論が面白かったので翻訳してみました。 著者の許諾取得済み。Thanks Stack and the other authors! 本文 原題: Taking the Bait Information Weekは先日、「HBase はNoSQL を支配するのか?」という記事を掲載した。MapR の Michael Hausenblas は HBase の事例に「賛成」の論陣を張っており、Apache Cassandra の Jonathan Ellis とベンダーである DataStax は「反対」の側だった。 この「ディベート」をベンダーのセールストークとして却下し、Apache HBase に立ち戻り、HBase を使用し、改善していくのは、簡単な話である。しかし、この記事は特別に問題のある例だった。記事では、「賛成」と「反対」の双方と
Near Real-time Processing Over Hadoop and HBase
From MapReduce to realtime This post covers much of the Near-Realtime Processing Over HBase talk I’m giving at ApacheCon NA 2013 in blog form. It also draws from the Hadoop, HBase, and Healthcare talk from StrataConf/Hadoop World 2012. The first significant use of Hadoop at Cerner came in building search indexes for patient charts. While creation of simple search indexes is almost commoditized, we
HBaseについての情報源 - wyukawa's diary
クレジットカード現金化詐欺【業界人が教える口コミ情報】 の12/2分として書きます。 内容は薄いというかHBaseの情報源についてのまとめエントリです。 ■本家 Top http://hbase.apache.org/ JIRA https://issues.apache.org/jira/browse/HBASE Subversion http://svn.apache.org/repos/asf/hbase/ ■書籍 HBase 作者: Lars George,Sky株式会社玉川竜司出版社/メーカー: オライリージャパン発売日: 2012/07/25メディア: 大型本購入: 1人 クリック: 9回この商品を含むブログ (5件) を見る 通称馬本。なにはさておきまずはこれ。 序盤はJava APIの解説が多いが8章がアーキテクチャの話でここがメインだと思う。 HBase in Actio
A vendor-independent comparison of NoSQL databases: Cassandra, HBase, MongoDB, Riak
A vendor-independent comparison of NoSQL databases: Cassandra, HBase, MongoDB, Riak By Sergey Bushik, senior R&D engineer at Altoros Systems Inc., special to Network World October 22, 2012 04:26 PM ET "The more alternatives, the more difficult the choice." -- Abbe' D'Allanival In 2010, when the world became enchanted by the capabilities of cloud systems and new databases designed to serve them, a
20分でわかるHBase
PyFes 2012.07 で発表したときのスライドです。 HBaseのアーキテクチャ周りを中心に話しました
HBaseのRow Keyの設計についてのメモ - wyukawa's diary
Facebook Messageで使われたり、LINEのストレージで使われたり、と事例も多く出てきているHBase（Bは大文字。これ重要）ですが、個人的に少し興味も湧いてきたのでちょっと調べてます。HBaseはLog-Structured Merge-tree (LSM-tree)というアーキテクチャを使っており大量データの書き込みに最適化されています。なので大量の書き込みがあり読み込みは直近のもののみというメッセージ系アプリに向いているんだと思います。 そういえば半額に釣られてManning | HBase in Actionも買ってしまいました。 この本の4章のRow Keyの設計についての話があってそれがちょっと面白かったので関連してRow Keyについて少し書いてみます。 まずHBaseはカラム指向のデータベースと呼ばれますがデータモデルは多次元ソートマップです。 図解すると下記の
Amebaサービスのログ解析基盤
This document summarizes the Ameba and Neutral Technology Group's Patriot and Stinger big data platforms. Patriot is based on Hadoop and Hive and allows analyzing log data through a web UI and Hue. It loads data from MySQL into HDFS and analyzes it with HiveQL. Stinger collects log data with Flume agents and stores it incrementally in HBase for real-time analytics of hourly and daily metrics throu
事例：とある写真共有アプリでのMongoDB
事例：とある写真共有アプリでのMongoDB - Presentation Transcript MongoDB@just_do_neet 1 • MongoDB• MongoDB Topic• HBase• 2 Adoption stories of ‘MongoDB’ MongoDB 3 • RDBMS MongoDB → →• MongoDB• GridFS 4 NAVER Photo Album http://itunes.apple.com/jp/app/id449576650 • iPhone • ‘Path’ like • 5 NAVER Photo Album http://itunes.apple.com/jp/app/id449576650 • iPhone • ‘Path’ like • 6 • or•• RDB KVS 7 DB•M ySQL →••M ongoDb
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
このページを見るには、ログインまたは登録してください
Tokyo HBase Meetup - Realtime Big Data at Facebook with Hadoop and HBase (ja)
GitHub - MeltwaterArchive/dropwizard-extra: A set of miscellaneous and common Dropwizard utilities
スケーラブルなシステムのためのHBaseスキーマ設計 #hcj13w
HBase at LINE
Near-realtime analytics with Kafka and HBase
CUBRID blog - database management systems and software development