[小ネタ] S3に保存されているログファイルをAWS CLIでまとめてコピーする | DevelopersIO
はじめに 清水です。ELBやCloudFront、S3などのアクセスログはS3に保存されます。 アクセスログは外部ツールと連携させて監視や可視化するということもあると思いますが、直接ログファイルを確認することも多いのではないでしょうか。 ログファイルを直接確認するときはS3から作業用マシンにファイルをコピーしますが、保存先のS3バケット内のPrefixで指定したディレクトリにファイルが大量にあることが多いことから、私はAWS CLIを使ってコピーすることが多いです。 AWS CLIの場合、UNIXとまったく同じ書式でワイルドカードを使用することはできませんが、--recursiveオプションと--excludeオプション、--incluceオプションを組み合わせることで同様のことができます。 今回はアクセスログファイルから特定の日付のファイルだけを作業用マシン（AWS CLIを実行している
![[小ネタ] S3に保存されているログファイルをAWS CLIでまとめてコピーする | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0eb469bfaff8e33e9f250bdad40fd2ee2aba555c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F09%2Faws-cli.png)
AWS CLIの認証設定をする際の注意 - Qiita
AWS Access Key ID [None]: xxxxxxxxxx AWS Secret Access Key [None]: xxxxxxxxxx Default region name [None]: ap-northeast-1 Default output format [None]: json AWS Access Key ID [None] と AWS Secret Access Key [None] には発行したアクセスキーを， Default region name [None] にはデフォルトリージョンを， Default output format [None] にはコマンド出力結果の表示形式（json,table,textのうちどれか）を，それぞれ指定します． これで設定は終了です． 何がよくないか 上のコマンドによって~/.aws ディレクトリに作成された，認
オンプレ環境からS3へのファイル転送方式についてこれまで試したパターンまとめ | DevelopersIO
西澤です。AWS上にシステムを移行する上で、毎度のようにご相談を受けるのが、S3へのファイル転送をどうするか？という問題です。ビッグデータの元となる大量のファイル、RDBのダンプファイル、その他のバックアップファイル等を含め、安価で堅牢なS3にまずはデータを格納し、そこから自由に利用したいというユーザの希望を実現する為に、まずは何よりもS3にファイルを持っていかなければなりません。 今回は、過去のブログも遡りつつ、これまで試してみた各種転送方式をご紹介し、それぞれのユースケースを整理しておこうと思います。また、この記事は書きっぱなしにするのではなく、今後必要に応じてメンテナンスもすることで、再利用できるような記事に育てていきたいなと思っています（執筆時点での意気込みであり、何かを保証するものではありません）。 前提 Amazon Kinesis Streamsを利用するようなリアルタイム処
Amazon S3バケットへのファイルアップロードを実現する – 01.概要&GUIお勧めツール編 | DevelopersIO
AWSに於いて、クラウドストレージサービスの『S3』は実に様々な各種AWSサービスから利用されています。サービスとしては特に欠かせないものの1つでしょう。 S3の数ある利用用途の中の1つとして『DBへデータを投入するための前段階としてS3バケットにファイルをアップロードする』というケースというものが考えられるかと思います。RDS(MySQL/Oracle/SQLServer)然り、データウェアハウス(Redshift)然り、NoSQL(DynamoDB)然り。良くある操作ですが、この操作はその手段や人手が絡む度合いに拠って、幾つかに分類する事が可能です。 そこで当エントリ、及び以降数回の続編エントリに亘って、『どんな手段があるのか、どういう風に組めばそれが実現出来るのか』と言ったポイントをキャプチャやサンプルコードを交えてそれぞれご紹介して行きたいと思います。 まずは『手段』の種類について
AWS CLIのセットアップ(Windows)
AWS CLIが使えるようになるまでのステップのメモ AWS-CLIのダウンロード(Windows 64bit) まずCLIを以下からダウンロードしてインストールする https://s3.amazonaws.com/aws-cli/AWSCLI64.msi AWSコンソールでIAM userを作る IAMに行く https://console.aws.amazon.com/iam/home [ユーザーを追加]をクリック ユーザー追加画面で、ユーザー名や、アクセスの種類、パスワードなどに関する設定をする [次]をクリックすると、アクセス権設定画面となる。 グループがまだなければ、[グループの作成]をクリックする グループの作成名前と権限をつける。 [次のステップ：確認]をクリックする [ユーザーの作成]をクリック これでユーザーが完成。 CLIをセットアップする（IAMユーザーをひもづける
AWS CLIのS3コマンドまとめ - TASK NOTES
普段 AWS CLI を使うことはそんなにないんですが、S3 コマンドだけはよく使うのでまとめました。といっても全てではなく、ファイルやディレクトリ操作に関する部分です。 基本コマンド AWS CLI の S3 コマンドは以下の形式で実行します。 aws s3 <Command> [<Arg> ...] 基本的に Arg の箇所はパスを入力することになるのですが、ローカルのパスは「ローカルファイルまたはディレクトリの絶対パスまたは相対パス」、S3のパスは「s3://<bucket>/<prefix>/<object>」となります。prefix とはディレクトリやフォルダのイメージです。 Command Description cp オブジェクトのコピー ls オブジェクトの一覧 mb S3バケットの作成 mv オブジェクトの移動 rb S3バケットの削除 rm オブジェクトの削除 sync
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS CLI で S3 にファイルをアップロード - Qiita