AWS FargateとLambdaでサーバーレスなクローラー運用 - orangain flavor
これはWebスクレイピング Advent Calendar 2017の7日目の記事です。こんな感じでAWS FargateとAWS Lambdaを使ってサーバーレス（EC2レス）なクローラーを作ります。 この記事はFargateでのクローリング処理にフォーカスしており、クロールしたHTMLをS3に保存するところまでを主に解説します。Lambdaの方はおまけ程度の扱いで、スクレイピングしたデータの扱い（データベースへの格納など）はスコープ外です。 長くなったので目次です。 背景 AWS Fargateの登場 クローラーの構成 やってみる 1. ScrapyのプロジェクトでSpiderを作る 2. Scrapy S3 Pipelineをインストールする 3. Scrapy S3 Pipelineをプロジェクトに追加する 4. ScrapyのプロジェクトをDockerizeする 5. Amazo
S3 Event Notificationを別アカウントのAWS Lambdaに送信する ｜ DevelopersIO
こんにちは、虎塚です。 Amazon S3では、オブジェクトの生成や削除をトリガーに、SNS、SQSやAWS LambdaにEvent Notificationを送信できます。送信先のAWSリソースは、S3と別のアカウントでも問題ありません。 今回は、あるAWSアカウントのS3に画像がアップロードされた時に、別のアカウントのAWS Lambdaを起動して画像をリサイズする処理を例に、S3 Event Notificationをクロスアカウントで利用する設定を説明します。 処理の概要 AWS Lambdaの公式ドキュメントには、次のようなチュートリアルがあります。 参考: チュートリアル: Amazon S3 での AWS Lambda の使用 - AWS Lambda (1) S3バケットに画像がアップロードされると、(2) S3がイベントを検知して (3) あらかじめ登録されたLambd
mp4動画ファイルのトランスコードを Python for Lambda で自動化 - akiyoko blog
この投稿は 「今年もやるよ！AWS Lambda縛り Advent Calendar 2015 - Qiita」 の 3日目の記事です。 1、2、3、ラムダーーーーーーー！！ 12/3 の記事ということではしゃいでしまいました。 とっとと始めます。。 はじめに これまで、「Boto3 で Elastic Transcoder を操作する方法」「Boto3 で Amazon SNS を操作する方法」「Python for Lambda (Python Functions) の基本操作」を試してきました。 ＜過去記事＞ akiyoko.hatenablog.jp akiyoko.hatenablog.jp akiyoko.hatenablog.jp 今回は、その総まとめとして、S3 への mp4ファイルのアップロードイベントを AWS Lambda で自動検知し、 Amazon Elastic
[2018/03/08追記]API Gatewayでサーバレスな画像リサイズAPIを作る - Qiita
<2018/03/08追記> 2018年3月、Lambda@Edgeを使った画像リサイズのソリューションがAWSの公式ブログにて紹介されました。 - Amazon CloudFront & Lambda@Edge で画像をリサイズする - Amazon Web Services ブログ 今後サーバレスな画像リサイズ処理について検討する場合は、上のブログ記事を参照されることをお勧めいたします。 </追記> 2016年11月に Amazon API Gatewayがバイナリデータに対応したので、Amazon CloudFront、AWS Lambda、Amazon S3を組み合わせて、フルマネージドな画像変換（リサイズ）APIを作ってみる。 やりたいこと URL中のパスで指定したファイルを、クエリパラメータで指定したサイズ（今回は幅のみ指定）に変換して返す。 例えば HTML中にimgタグで
![[2018/03/08追記]API Gatewayでサーバレスな画像リサイズAPIを作る - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/2f1ffb45f2fd7d4a47cada3ccefebb4d0be4a326/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCMjAxOCUyRjAzJTJGMDglRTglQkYlQkQlRTglQTglOTglNURBUEklMjBHYXRld2F5JUUzJTgxJUE3JUUzJTgyJUI1JUUzJTgzJUJDJUUzJTgzJTkwJUUzJTgzJUFDJUUzJTgyJUI5JUUzJTgxJUFBJUU3JTk0JUJCJUU1JTgzJThGJUUzJTgzJUFBJUUzJTgyJUI1JUUzJTgyJUE0JUUzJTgyJUJBQVBJJUUzJTgyJTkyJUU0JUJEJTlDJUUzJTgyJThCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz00NjYwYWFkOWU3ZDg0YTJhMmRjMjRlMWY0Y2NmZjY2Ng%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBha2l0c3VrYWRhJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0wMTg2Njc2YjFiNDcwNGMwMDk3MjBkODU1Zjg0YWMwNA%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D3bbb0bfbb79eae7de71485e252956844)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
