HDFSのShort-Circuit Local Readについてのブログ記事を読んで 先週お盆休みに公開されたブログ、「How Improved Short-Circuit Local Reads Bring Better Performance and Security to Hadoop」には興味深い内容が書いてあります。これは必読では?と思ったので、少しまとめてみます。 元々の処理 クライアントがHDFSからデータを読み出す場合、データノードとのネットワーク通信が発生します。これはシンプルですが、カーネル内でTCPソケットを保持しておくなどのオーバヘッドがかかります。(ブログ中の最初の図) Short-Circuit Local Reads with HDFS-2246 このチケットでの改善は、クライアントとデータノードが同一マシンの場合、直接ローカルファイルシステムからデータを読
![HDFSのショートサーキット雑感](https://cdn-ak-scissors.b.st-hatena.com/image/square/f05e6366da02da0a5401eb2def43c7d700433518/height=288;version=1;width=512/https%3A%2F%2Flinux.wwing.net%2FWordPress%2Fwp-content%2Fthemes%2Fcocoon-master%2Fscreenshot.jpg)