AWS Lambda上でpuppeteerを動かして、スクレイピングする
はじめに AWS Lambda上のヘッドレスブラウザで動かしたいものがあったので、それの備忘録も兼ねて書いておきます。ちなみに所属会社で似たようなことをしているのですが、PhatomJS（オワコンなのは知ってる）をAWS Lambda上で動かすために、わざわざカスタマイズしてからそれ専用にビルドするという変態技が使われている部分を書き換えたいという想いからの実験でもあります。 そこで本記事ではpuppeteer（パペティア？読み方あってる？）を使って、AWS Lambda上でヘッドレスブラウザを動かすということをしてみます。 サンプルとは少し異なりますが、実際にやってみたソースはこちらです。 https://github.com/chimame/search_ranking_checker_on_aws_lambda 前提条件 本記事は以下のライブラリ等を使用しております。 Nodejs:
Puppeteer on LambdaでWebページのキャプチャを撮る | PRESSMAN*Tech
AWS Lambdaで遂にNode v8.10を使用できるようになりました。 これでPuppeteerが使える！と意気揚々としていたのですが、いつの間にか必須要件がv6.4.0以上となっていました。以前はv7.10以上必須と書かれていたはずですが・・・ いきなり出鼻を挫かれましたが、気を取り直していきます。 はじめに：PuppeteerとはGoogle謹製のGoogleChromeを自動操作するライブラリです。Nodeで動作します。 「このサイトにアクセスして、このボタンをクリックして・・・」といった操作を自動で行うことができます。雑に言うとExcelのマクロみたいなものです。 Chrome59で実装されたヘッドレスモードに合わせる形でプロジェクトが立ち上がり、主にWebアプリの自動化テストの分野で注目されています。 似たプロジェクトにPhantomJSやChromelessがあります。
[新機能]AWS LambdaがNode.js v8.10をサポートしました | DevelopersIO
こんにちは。サービスグループの武田です。 東京は暖かい日が続き、葉桜もちらほら見られるようになってきました。今日はAWS Lambdaが、待望のNode.js v8.10をサポートしたので紹介します。 AWS Lambda Supports Node.js v8.10 なお公式ドキュメントでは、4月3日時点で日本語ドキュメントは対応していませんでした。英語ドキュメントは更新されているため次のリンクから確認できます。 Programming Model(Node.js) - AWS Lambda Node.js v8.10のプログラミングモデル バージョン6系から8系での変更点はリリースノートなどを見ていただくとして、一番の変更点はasync/awaitパターンが使えるようになったことでしょう。 というわけで、マネジメントコンソールからv8.10を確認しつつ、Lambdaでasync/awa
![[新機能]AWS LambdaがNode.js v8.10をサポートしました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a7161d2e1b565ee8dfc12e465ff4e95910761254/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F11%2FAmazonLambda.png)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
