AWS FargateとLambdaでサーバーレスなクローラー運用 - orangain flavor
これはWebスクレイピング Advent Calendar 2017の7日目の記事です。こんな感じでAWS FargateとAWS Lambdaを使ってサーバーレス（EC2レス）なクローラーを作ります。 この記事はFargateでのクローリング処理にフォーカスしており、クロールしたHTMLをS3に保存するところまでを主に解説します。Lambdaの方はおまけ程度の扱いで、スクレイピングしたデータの扱い（データベースへの格納など）はスコープ外です。 長くなったので目次です。 背景 AWS Fargateの登場 クローラーの構成 やってみる 1. ScrapyのプロジェクトでSpiderを作る 2. Scrapy S3 Pipelineをインストールする 3. Scrapy S3 Pipelineをプロジェクトに追加する 4. ScrapyのプロジェクトをDockerizeする 5. Amazo
AWS SAM Local と LocalStack を使って ローカルでAWS Lambdaのコードを動かす | DevelopersIO
こんにちは、お肉が食べたいです。齋藤です。 今回はAWS SAM Local と LocalStack を使って ローカルでS3と連携するようなAWS Lambdaのコードを動かしてみます。 SAM LocalやLocalStackの個別の内容については以下の記事などをご覧ください。 今回はそれらのツールについての解説は行いません。 [新ツール]AWS SAMをローカル環境で実行できるSAM Localがベータリリース LocalStackをつかってローカルでLambdaを実行してみた LocalStackを使ってテストをしてみた LocalStackを使ってCIでKinesis Client Libraryを使ったコードのテストを書いてみる Firehoseを使ったコードのテストをLocalStackを使って動かしてみる！ 今回動かすアプリケーションはAPI Gateway経由で起動され
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
