IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.
5. 6.1 MapReduce ジョブの実行の内幕 MapReduce の実行 やることは、 JobClient.runJob(conf) だけ! だけどその裏では様々なプロセスが動いている P169 6. 6.1 MapReduce ジョブの実行の内幕 裏で動いている登場人物 jobClient jobtracker ジョブの実行管理。 JobTracker をメインクラスに持つ Java アプリケーション tasktracker ジョブを分割して出来たタスク実行。 TaskTracker をメインクラスに持つ Java アプリケーション 分散 FS ( HDFS など) 各プロセス間でのジョブのファイルを共有する為に使用する どのように実行されるか、ステップ毎に説明していきます。 7. MapReduce ジョブの実行遷移図 MapReduce プログラム JobClient Job
creating custom UDFs First, you need to create a new class that extends UDF, with one or more methods named evaluate. package com.example.hive.udf; import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.io.Text; public final class Lower extends UDF { public Text evaluate(final Text s) { if (s == null) { return null; } return new Text(s.toString().toLowerCase()); } }(Note that there's
Twitterの大規模システム運用技術、あるいはクジラの腹の中(後編)~Twitterのサブシステム「Unicorn」「Kestrel」「Flock DB」 米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」の、Twitterのシステム運用について説明するセッション「In the Belly of the Whale: Operations at Twitter」(クジラの腹の中:Twitterでの運用)を紹介をしています。 この記事は「「Twitterの大規模システム運用技術、あるいはクジラの腹の中(前編)~ログの科学的な分析と、Twitterの「ダークモード」」の続きです。 Twitterのサブシステム「loony」「Murder」「memcached」 ここからはTwitterのサブシステムについて紹介しよう。 T
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く