Lambda を使って CloudWatch Logs から S3 へ自動的にエクスポートする
Lambda のログは自動的に CloudWatch Logs に保存されますが、他と連携する場合は S3 のほうが何かと都合がいいです。 CloudWatch Logs にはログデータを一括で Amazon S3 にエクスポートする機能があります。リアルタイム性が求められずバッチ処理で定期的にエクスポートする用途に向いています（リアルタイム性が求められる場合は、サブスクリプションを使用したログデータのリアルタイム処理が用意されています）。 というわけで Lambda と CloudWatch Events を使って、CloudWatch Logs から S3 へ自動的にエクスポートしてみます。 CloudWatch Logs API の CreateExportTask S3 へのエクスポートは CloudWatch Logs API の CreateExportTask を使います。
Error responses - Amazon Simple Storage Service
On May 13, 2024, we started deploying a change to eliminate charges for unauthorized requests that aren't initiated by the bucket owner. After the deployment of this change is completed, bucket owners will never incur request or bandwidth charges for requests that return AccessDenied (HTTP 403 Forbidden) errors when these requests are initiated from outside of their individual AWS account or AWS o
設計パターンのベストプラクティス: Amazon S3 のパフォーマンスの最適化 - Amazon Simple Storage Service
Amazon S3 のストレージに対してアップロードおよび取得を行う際に、アプリケーションはリクエストのパフォーマンスとして 1 秒あたり数千のトランザクションを容易に達成できます。Amazon S3 は、高いリクエストレートに自動的にスケールされます。例えば、アプリケーションは、パーティショニングされた Amazon S3 プレフィックスごとに毎秒 3,500 回以上の PUT/COPY/POST/DELETE リクエストまたは 5,500 回以上の GET/HEAD リクエストを達成できます。バケット内のプレフィックスの数に制限はありません。並列化を使用することによって、読み取りまたは書き込みのパフォーマンスを向上させることができます。例えば、Amazon S3 バケットに 10 個のプレフィックスを作成して読み取りを並列化すると、読み取りパフォーマンスを 1 秒あたり 55,000
EMRのログをS3/Localから追う - Qiita
概要 諸事情でYARNやSparkのWebUIがすぐに見れない、でもEMRのStepがなんか失敗しているのでログを見たい！というときにS3から見る方法。 というかEMRのログで作られる各中身の確認 前提 emr-4.7 Spark 1.6 Hadoop 2.7 ログ出力先にS3の任意のフォルダを指定。 ログディレクトリの構成 cluster EMR clusterはそれぞれIDを持ちます。（例： j-2540JQ2HFN027 ） containers 各Hadoopアプリケーションにおいて、分散環境上に複数のコンテナが立てられます。 各アプリケーションはIDを持ちます。（例： application_10000032000_0001 ） 各コンテナはIDを持ちます。applicationのIDにコンテナ用の通し番号が付いた文字列になります。（例： container_1000003200
AWS CLI s3コマンドのFilterオプションを深掘りしてみた | DevelopersIO
はじめに 清水です。先日以下のエントリで、AWS CLIのs3コマンドの--exclude、--includeのFilterオプションを使ってみました。 [小ネタ] S3に保存されているログファイルをAWS CLIでまとめてコピーする Filterについてはこちらで説明されている機能です。 エントリ公開の後、社内の方から「S3のAPI自体には--excludeと--includeに相当しているオプションはないので、prefixパラメータで指定したものをローカルで処理しているのでは？」という見解をいただきました。 （こちらのS3 API Referenceにその旨が記載されています） この点をAWS CLIのデバッグログを使って確認してみましたのでまとめてみます。 結論から先に述べますと、社内の方からのご指摘どおりで、--exclude、--includeオプションを指定した場合、APIとし
Amazon S3 での IAM の機能 - Amazon Simple Storage Service
Amazon S3 およびその他の AWS サービスがほとんどの IAM 機能との連携する方法の詳細については、「IAM ユーザーガイド」の「IAM と連携する AWS サービス」を参照してください。 Amazon S3 のアイデンティティベースのポリシー アイデンティティベースポリシーは、IAM ユーザー、ユーザーグループ、ロールなど、アイデンティティにアタッチできる JSON 権限ポリシードキュメントです。これらのポリシーは、ユーザーとロールが実行できるアクション、リソース、および条件をコントロールします。アイデンティティベースのポリシーを作成する方法については、「IAM ユーザーガイド」の「IAM ポリシーの作成」を参照してください。 IAM アイデンティティベースのポリシーでは、許可または拒否するアクションとリソース、およびアクションを許可または拒否する条件を指定できます。プリンシ
S3のアクセスコントロールまとめ - Qiita
これに評価が許可になる条件Bを組み合わせると、 (NOT A) or B → デフォルト拒否 or 許可 → 許可 A or B → 明示的拒否 or 許可 → 拒否 となり、評価がデフォルト拒否になっているからといって、拒否設定した気になっていると、 他のポリシーとの組み合わせでうっかり許可になってしまう場合がある。 対象リソースの指定 バケットポリシーやIAMポリシーで、ある Action を許可/拒否する場合、対象 Resource を ARN で指定する。 バケットに対する Action は Resource としてバケットの ARN(arn:aws:s3:::bucket) を指定する。 オブジェクトに対する Action は Resource としてオブジェクトの ARN(arn:aws:s3:::bucket/*) を指定する。 AWS Management Console
S3にアップロードされたZIPファイルをLambdaで自動解凍する - Qiita
参考 S3にアップロードされたファイルがzipならlambdaで自動解凍する - Qiita S3にアップしたファイルがzipかどうかを判別して、自動的にunzipする処理をlambdaで実行します。 圧縮のサンプルはよく見かけるけど、解凍のサンプルがあまり無い気がしたので、利用シーンは正直まったく浮かばないけど作ってみました。 S3とLambdaとCircleCIでほぼ無料の社内向けデザインテンプレートサイトを構築する - Qiita 今回のやることを簡単に表現すると「S3に成果物をzipで放り投げて、それを解凍する」ということなので以下の３ステップで実現できそうです。 参考というか、コピペでそのまま動きました。 素晴らしい！ありがたい！お世話になりました！ 利用シーンあります！ドンピシャです！ありがとうございます！ ただ、いくつか自分の用途に合わせて変えたところがあったのでメモです。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Impala（Incubating）を使ったAmazon S3 上でのアナリティクスとBIの実現
HIGOBASHI.AWS 第2回 AWSごった煮編で「わかりづらいS3クロスアカウントアクセスに立ち向かう」を話しました #cm_osaka | DevelopersIO
Hue - The open source SQL Assistant for Data Warehouses
Announcement: ELB stickiness updates to support Feb 2020 Chromium CORs changes