サクサク読めて、アプリ限定の機能も多数!
小さなファイルをたくさん処理したい時にはこれ使えばいいのね。s3distcpでファイルをconcatするときとかによさげ。
imai-factory のブックマーク 2013/11/21 19:07
reuse JVM in Hadoop mapreduce jobs小さなファイルをたくさん処理したい時にはこれ使えばいいのね。s3distcpでファイルをconcatするときとかによさげ。2013/11/21 19:07
このブックマークにはスターがありません。 最初のスターをつけてみよう!
stackoverflow.com2013/11/21
I know we can set the property "mapred.job.reuse.jvm.num.tasks" to re-use JVM. My questions are: (1) how to decide the number of tasks to be set here, -1 or some other positive integers? (2) is it ...
2 人がブックマーク・1 件のコメント
\ コメントが サクサク読める アプリです /
小さなファイルをたくさん処理したい時にはこれ使えばいいのね。s3distcpでファイルをconcatするときとかによさげ。
imai-factory のブックマーク 2013/11/21 19:07
このブックマークにはスターがありません。
最初のスターをつけてみよう!
reuse JVM in Hadoop mapreduce jobs
stackoverflow.com2013/11/21
I know we can set the property "mapred.job.reuse.jvm.num.tasks" to re-use JVM. My questions are: (1) how to decide the number of tasks to be set here, -1 or some other positive integers? (2) is it ...
2 人がブックマーク・1 件のコメント
\ コメントが サクサク読める アプリです /