業務経歴: アメーバピグ開発運用などを経て、2010年よりHadoop/Hiveを用いたログ解析基盤開発・運用に従事。2011年よりAmeba Technology Laboratory研究室長。 概要 Hadoopを用いたログ集計基盤は次第に整備されつつあるが,集計にはユーザなどのいわゆるマスタデータ(会員登録情報,プロフィール情報など)とのJOINが必要とされることが多い. しかしながら,(特にAmebaサービスでは)マスタデータはMySQLに保存されていることが多く,さらにHDFSには追記処理しかできない(特定行の削除などができない)ためマスタデータをMySQLからダンプコマンドにより全データ取得し,HDFS上のファイルを置き換えるという非効率な処理に陥りがちである. そこで,MySQLからHadoop(HDFS)をベースとしながら,ランダムリード/ライトが可能なHBaseにデータ
![MySQL to HBase Heterogeneous Replication【実装編】 | 株式会社サイバーエージェント](https://cdn-ak-scissors.b.st-hatena.com/image/square/839ac0f73ca0ec0ec4144677efc02d970aa29f1a/height=288;version=1;width=512/https%3A%2F%2Fwww.cyberagent.co.jp%2Ffiles%2Fuser%2Fimg%2Fogp%2Fogp_techreport_8876.png)