タグ

s3に関するlike_futsalのブックマーク (3)

  • S3トリガーでLambdaを使うときの、イベント抜けに対する一つの解法 - Qiita

    これは初老丸Advent Calendar 2017の15日目の記事です。 S3トリガーのLambda 皆さんLambda使ってますか?Lambdaいいですよね! 特にS3をトリガーに使うと、外部からの処理開始の契機はS3にファイル置くだけだし、どんどん置いていったら適当に並列にLambdaが呼ばれてスケールするしで性能のことも何も考えなくていいので最高です(たぶん)。 ただ、ちょっと注意点もあります。それは、「S3のイベント発火はたまに抜けが出る」という問題です。公式ドキュメントのどこに書いてあるかは探しきれてませんが、実際結構抜けます。 例 ここでは例として以下のようなアーキテクチャを考えます。 適当なバケットを作って、そこにファイルが置かれたらLambdaが起動する 起動したLambdaはそのファイルを処理する 処理が終わったらそのファイルを同じバケット内の「bak」というフォルダに

    S3トリガーでLambdaを使うときの、イベント抜けに対する一つの解法 - Qiita
  • Python(boto3)でS3にデータをファイル保存せず直接アップロードする方法 | DevelopersIO

    こんにちは、臼田です。 Pythonを利用してS3にデータをアップロードする際、boto3を利用することになると思いますが、検索するとファイルからアップロードする方法がいっぱい出てきます。 でも、私はスクリプトの中で作成したjsonデータを直接S3に格納したかったんです。 なぜなら、Lambdaで処理したデータをjsonにして格納することが目的だったので、一時的にファイルで保存するなんてことは考えられないからです。 boto3の事、よくわかっていなくてハマってしまったので共有したいと思います。 執筆時のboto3のバージョンは1.4.4です。 PythonLambda前提の2.7です。 S3へ直接保存する方法 boto3のドキュメントのclass S3.Objectのput()メソッドには、下記のように記載があります。(ver.1.4.4現在) Request Syntax respon

    Python(boto3)でS3にデータをファイル保存せず直接アップロードする方法 | DevelopersIO
  • 【AWS】S3まとめ - Qiita

    どうも、iron千葉です。 S3について、ユーザガイドを見てポイントをまとめました。 ポイントだけ確認したい人、ざっと全体を見たい人におすすめです S3は奥が深い。 S3とは? インターネットストレージ(平たく言うとgoogleドライブevernoteのようなwebブラウザから利用できるストレージ) S3はAPIまたはAWS CLIにてプログラムから操作(ファイルのアップロード、ダウンロード、削除)ができる 容量制限なし データはいつでもダウンロード可能 柔軟なアクセス制御ができる(IAM、アクセスコントロール、バケットポリシー) S3の概念 バケット バッケットを作成し、その配下にデータを格納する バケットはS3の中で一番大きな バケットは複数作成できる バケットでアクセス制御が可能 バケット作成時は、配置するリージョンを指定する オブジェクト オブジェクトは、データ(アップロードファ

    【AWS】S3まとめ - Qiita
  • 1