大規模データについて第4回～EMR開発_実装編～ - Qiita

実装のポイントについて 不具合を想定する。 リカバリやメンテ実行は コマンド一発全自動 できるようにしておく。 大規模データを取り扱うため、リカバリやメンテ実行の際にファイル移動や DBオペレーション等をしていると面倒だしミスの温床になるので、 自動化しておきましょう。 無駄にEMRが起動されないように。 EMRは１度起動してしまうと１時間分の課金が発生するので注意が必要です。 EMRで完結しない処理を前処理、後処理という形で切り分けておくと、 前処理、後処理で失敗した場合にその部分だけやり直す運用ができるので効率的です。 値チェックを入れる。 Hadoop処理では少々のエラーは突き抜けてしまいます。(ほとんど起きないですが) 集計の用途で別ロジックでの集計（hourly、daily）と比較できる値は処理完了時に 整合性チェックしておくと安心です。 設計はシンプルに、モジュールはコンパクト