タグ

関連タグで絞り込む (0)

  • 関連タグはありません

タグの絞り込みを解除

HDFSとrsyncに関するwlbhiroのブックマーク (1)

  • ローカルからHDFSマウントへのrsync - kikumotoのメモ帳

    ローカル領域 -> HDFSマウント領域の rsync をするには、 rsync --temp-dir=/local/path/tmp -avOW --delete local/ /mnt/hdfs/ のようなオプションをつける必要があるみたい。 --temp-dir を指定しないと、HDFS マウント領域上にテンポラリファイルを作成しようとして失敗する。 -O がないと、ディレクトリにタイムスタンプを同期しようとして失敗する。 -W はたぶん必要。rsync では必要に応じてファイルの一部のみを差分同期するはずだけど、HDFS のファイルに対して一部を書き換えることはできないから。

    ローカルからHDFSマウントへのrsync - kikumotoのメモ帳
    wlbhiro
    wlbhiro 2015/07/13
    マウントへの書き込みの注意点
  • 1