タグ

httpとKeyに関するJyuichiのブックマーク (1)

  • AWS CLIを利用してS3上のファイルをgrepする | DevelopersIO

    先日Hadoop Streamingを利用してS3上のファイル群にgrepコマンドを実行する方法を紹介しました。 grepコマンドをHadoop Streaming上で実行する とはいえ、ファイル数が少ない場合や時間が掛かってもいいからEMRを利用せずにローカルPC上でgrepコマンドを実行したいこともありますよね。ということで、今回用意したのがAWS CLIを利用してS3上のファイル群をローカルPC上でgrepするbashスクリプトです。 動作確認環境 今回の動作確認を行った環境です。 Mac OS X 10.12.5 GNU bash, version 3.2.57(1)-release (x86_64-apple-darwin16) aws-cli/1.11.60 Python/2.7.10 Darwin/16.6.0 botocore/1.5.23 s3grep s3grepという

    AWS CLIを利用してS3上のファイルをgrepする | DevelopersIO
  • 1