この記事は Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2020 の11日目の記事です。 qiita.com クラスタ間でHDFSファイルを移動したいというのは割とよくある話です。 そこでHDFSファイルを大量に移動する際は、DistCpを使うことになります。 ただ、移動元も移動先にも所属していないクライアントから通常DistCpは使えません(クラスタの設定情報がないので)。 設定をどうにかして渡せば、多分出来るだろうなぁと思いつつも「まぁ移動先のクラスタクライアントにSSHしたらいいか。」で後回しにしてましたが、自分のPCからDocker使ってやりたいなぁって事で調べました。 DistCpそのものについては、以下の最高の記事があるのでそこを参照下さい。 shiumachi.hatenab
![所属していないクラスタに対してDispCpやhdfs dfsを使う場合のTips - やっさんメモ](https://cdn-ak-scissors.b.st-hatena.com/image/square/7db202e5a5a2a4d39b41e3f0f6d046e2bdafd075/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fy%2Fyassan0627%2F20201211%2F20201211005710.png)