grepコマンドをHadoop Streaming上で実行する | DevelopersIO
S3上に大量に存在するログファイルをgrepコマンドで検索したいと思ったことがある方は結構いらっしゃるのではないでしょうか。今回はHadoop Streamingを利用してS3上のファイル群に対してgrepコマンドを実行したいと思います。 Hadoop Streamingの概要については以下をご参照下さい。 EMRでHadoop Streamingジョブを実行する 実行環境 emr-5.5.0 でアプリケーションは Hadoop のみ ハードウェア構成は m1.medium を 1 台（検証用なのでマスターノードのみ） 東京リージョン EMRクラスタの作成 まずはEMRクラスタを作成します。AWS CLIを利用する場合は以下のようなコマンドになります。SubnetId, log-uriを自身の環境に合わせて書き換えて下さい。 aws emr create-cluster --auto-sc
【レポート】Deep Dive: ビッグデータワークロードをAWSに移行する #reinvent #ABD312 | DevelopersIO
【レポート】Deep Dive: ビッグデータワークロードをAWSに移行する #reinvent #ABD312 原題 ABD312 - Deep Dive: Migrating Big Data Workloads to AWS 概要 Customers are migrating their analytics, data processing (ETL), and data science workloads running on Apache Hadoop, Spark, and data warehouse appliances from on-premise deployments to AWS in order to save costs, increase availability, and improve performance. AWS offers a br
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
