はてなブックマーク

Apr 16, 2015 · 1 minute read hadoophdfsmemo 目的 Hadoopサーバを更新するにあたってファイルを引越しする。旧サーバはCDH4で新サーバはCDH5で構成されて、ファイルをローカルに落とすことなく直接hdfsにコピーしたい。 はまったところ バージョンが違うためにhdfsプロトコルではエラーが発生 ワイルドカードでのファイル指定ができない ユーザフォルダじゃない場所にコピーするのでpermissionエラーが発生 解決策 バージョンが違うためにhdfsプロトコルではエラーが発生 通常は hadoop distcp hdfs://FROM_HOST/filedir hdfs://TO_HOST/firedire でコピーが行われるのだが、バージョンが異なるとエラーが発生する。 そこで、コピー先(TO_HOST)にsshして以下のコマンドを実行 ha