タグ

関連タグで絞り込む (0)

  • 関連タグはありません

タグの絞り込みを解除

MySQLとhbaseに関するhohoho_ho2005のブックマーク (1)

  • MySQL to HBase Heterogeneous Replication【実装編】 | 株式会社サイバーエージェント

    業務経歴: アメーバピグ開発運用などを経て、2010年よりHadoop/Hiveを用いたログ解析基盤開発・運用に従事。2011年よりAmeba Technology Laboratory研究室長。 概要 Hadoopを用いたログ集計基盤は次第に整備されつつあるが,集計にはユーザなどのいわゆるマスタデータ(会員登録情報,プロフィール情報など)とのJOINが必要とされることが多い. しかしながら,(特にAmebaサービスでは)マスタデータはMySQLに保存されていることが多く,さらにHDFSには追記処理しかできない(特定行の削除などができない)ためマスタデータをMySQLからダンプコマンドにより全データ取得し,HDFS上のファイルを置き換えるという非効率な処理に陥りがちである. そこで,MySQLからHadoop(HDFS)をベースとしながら,ランダムリード/ライトが可能なHBaseにデータ

    MySQL to HBase Heterogeneous Replication【実装編】 | 株式会社サイバーエージェント
  • 1