WebHDFSとHttpFs(Hoop)に見るHDFSクライアントチューニングの話 - たごもりすメモ

前に書いた通り、HDFSへの書き込みをHoop Server経由からWebHDFS経由に変更している。 これまで(Hoop Server) Hoop Server経由で書き込んでいたとき。クラスタで重めのMapReduceジョブを走らせると、その時間帯に書き込んだデータを後で読み出したときに checksum error となって読み出しに失敗することが多く、なんでかなコレと悩んでいた。たぶんDataNode経由でデータ追記するのに長時間を必要としたとき、クライアントがTimeoutしちゃった場合のロールバックが中途半端なんじゃないかなとは思う。 ところで Hoop Server の設定には NameNode および DataNode へのタイムアウトを指定する方法などが無い。 DFSClient一般の設定としては dfs.socket.timeout ならびに dfs.datanode.

[tagomoris]

めも