タグ

hbaseに関するsabroのブックマーク (9)

  • [Cloud Days Osaka]楽天、独自開発のHBaseクライアントをOSS化

    楽天は2012年3月9日、オープンソースソフトウエア(OSS)のカラム型データベース(DB)「HBase」のクライアント「Sculptor, a HBase Client Framework」をOSSとして公開した。大阪市で開催されたクラウドコンピューティングの専門展「Cloud Days Osaka 2012」で、楽天エンジニアである蒋逸峰氏(写真)が明らかにした。 HBaseは、OSSの分散バッチ処理ソフト「Hadoop」をベースにしたカラム型DBである。楽天では2010年から、様々なWebサイトのバックエンドにHBaseを使っている。今回同社が開発したSculptorは、DB管理者がHBaseのメンテナンスなどを行う際に使用するDBクライアントツールである。HBaseにも標準のシェルが用意されているが、「使い勝手が悪い」(蒋氏)ことから独自クライアントを開発した。 Sculptor

    [Cloud Days Osaka]楽天、独自開発のHBaseクライアントをOSS化
    sabro
    sabro 2012/03/12
  • 第1回HBase勉強会に参加しました #hbaseworkshop - nokunoの日記

    というわけでHBase勉強会に参加してきました。今回が第1回目で、全6回の予定らしいです。Hbase勉強会(第一回) on ZusaarTogetter - 「# hbaseworkshop HBase勉強会(第一回)」 アプリケーション設計1 by @tatsuya6502さん 自己紹介 2009年からHBaseを評価 5年間は金融系のソフトウェアエンジニア 20年前はデザイナーとか HBaseエバンジェリスト 近況 転職しました:ジェミナイ・モバイル・テクノロジーズ HBaseドキュメントが日語訳されました アンケート HBaseをプロダクションで使っている人は少数 試している人はちらほら HBaseの特徴 柔軟なテーブル構造 強い一貫性:古いデータが見えることがない 大規模データ向け:自動シャーディング、高可用性 数十億件を超えてからが領発揮 2次インデックスを持たない(主キーへ

    sabro
    sabro 2011/05/21
  • 分散データベース「HBase」の安定運用を目指して - Preferred Networks Research & Development

    1年経ってiPhone4の電池がヘタってきた、太田です。 指数関数的にエントリ数が少なくなってきたブログですがw、景気付けのためにエントリを投稿したいと思います!日はHBaseについてです。 Linux と Hadoop と HBase と ZooKeeper に詳しいあなた!あなたがターゲットです。 HBaseとは? HBaseとは、HDFS (Hadoop Distributed File System)上に構築された分散データベースです。大量の非常に細かいデータをリアルタイムに読み書き出来るのが特徴です。最近ではFacebook Messageの基盤技術として使用された事で注目を集めています。 HBase公式サイト Apache HBase ブック 保存されたデータはHDFS上に保存され、HDFSの仕組みによってレプリケーションされるため安全にデータを保持することが出来ます。 ま

    分散データベース「HBase」の安定運用を目指して - Preferred Networks Research & Development
  • Facebookの新しいリアルタイム解析システムとは? - nokunoの日記

    Facebookの新しいリアルタイム解析のシステムでは、HBaseで1日200億件のイベントを処理しているそうです。以下の記事の翻訳です。High Scalability - High Scalability - Facebook’s New Realtime Analytics System: HBase to Process 20 Billion Events Per DayFacebookがまたやってくれた。彼らは巨大なリアルタイムデータのストリームを処理するもう1つのシステムを構築したのだ。以前にもFacebookはリアルタイムなメッセージシステムをHBaseで構築している(http://highscalability.com/blog/2010/11/16/facebooks-new-real-time-messaging-system-hbase-to-store-135.ht

  • CassandraとHBaseの比較して入門するNoSQL

    第10回Cassandra勉強会にて発表したスライドに、勉強会後のフィードバックを反映させた物です。Read less

    CassandraとHBaseの比較して入門するNoSQL
  • ドワンゴ技術勉強会

    日時:2010年7月16日 20:10 開始予定 テーマ:分散・並列処理・クラウド 20:20頃 IaaSシステム構築のポイント 株式会社ライブドア 執行役員CTA 伊勢 幸一様 仮想マシンや仮想ネットワークなどの技術的概要とライブドアのクラウドっぽいホスティングサービスを例に、IaaSシステムの構築上、注意しなければならないポイント等を紹介 21:00頃 クックパッドでのHadoop利用 クックパッド株式会社 佐々木 達也様 21:40頃 Web開発における分散データベースの利用 既存のRDBの持つ課題を挙げ、分散データベースがそれらの課題にどのように対応するか、Cassandraを例に挙げて紹介する 株式会社ドワンゴ 研究開発部 研究開発部 第四開発セクション 小野 侑一 22:20頃 とある技術の超分散法(スケールアウト) 株式会社ドワンゴ 研究開発部 千野執行役員付 山陰 祐司

    ドワンゴ技術勉強会
  • HMaster Japan: HBase入門 - 5月27日発表

    2010年5月30日日曜日 HBase入門 - 5月27日発表 Hadoop ソースコードリーディング(第2回)にて、HBaseを紹介しました。 HBaseの特徴 ユースケース(事例紹介) 当日は80名を超えるHadoopファンの方々にご来場いただきました。最後まで熱心に聞いていただきありがとうございました! 参考:当日の Twitter まとめ 次回以降は、以下の内容を予定しています。 【6月】HBaseとCassandraの比較(設計上のトレードオフを理解する) 【7月】HBaseでつまずきやすい点と、ロードマップ(次期メジャーリリースの紹介) スライドは事前に公開する予定です。実は、英語・日語版共に下書きはできていて、HBaseの開発リーダーのレビュー済みなんです。 ただ、会場で、Cassandraの開発チームにもレビューしてもらうと、より充実したプレゼンになるのでは?と

  • へ〜たのめも:Riak と Cassandra と HBase、あらまー! - livedoor Blog(ブログ)

    2010年05月25日 Riak と Cassandra と HBase、あらまー! Mozilla Blog Riak and Cassandra and HBase, Oh My!の勝手訳。各分散 KVS の特徴が分析されていて興味深い……と思って訳してみた。この無様なタイトルは Google 翻訳による。 Riak と Cassandra と HBase、あらまー! 我々は、SoCorro Crash プロジェクトにおいて HBase との統合を進めているが、その話はちょっと置いておいて、今回はメトリック・チームが巻き込まれている別のプロジェクトについて話をしよう。 Mozilla Labs Test Pilotは、実世界の Firefox ユーザをから集めたデータを分析して、ユーザ・エクスペリエンスを向上させるための実験をしたり、定量的データを集めたりするためのプロジェクトだ。 私

  • Hadoop、hBaseで構築する大規模分散データ処理システム

    CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

    Hadoop、hBaseで構築する大規模分散データ処理システム
  • 1