S3上に大量に存在するログファイルをgrepコマンドで検索したいと思ったことがある方は結構いらっしゃるのではないでしょうか。今回はHadoop Streamingを利用してS3上のファイル群に対してgrepコマンドを実行したいと思います。 Hadoop Streamingの概要については以下をご参照下さい。 EMRでHadoop Streamingジョブを実行する 実行環境 emr-5.5.0 でアプリケーションは Hadoop のみ ハードウェア構成は m1.medium を 1 台(検証用なのでマスターノードのみ) 東京リージョン EMRクラスタの作成 まずはEMRクラスタを作成します。AWS CLIを利用する場合は以下のようなコマンドになります。SubnetId, log-uriを自身の環境に合わせて書き換えて下さい。 aws emr create-cluster --auto-sc
![grepコマンドをHadoop Streaming上で実行する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/46fafde613a125aacd21cca3f78d3bb8d8855101/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_EMR.png)