AWS Lambda上のヘッドレスChromeとPuppeteerでサーバーレススクレイピング
こんにちは、ルーターのSakaeです。 IT業界ではその時代時代に流行する単語というものがあり、新たな言葉が日々生まれては、そのうちいくつかが大流行し、そしてまた新しい言葉の登場により、古い言葉が忘れさられていきます。 そんな言葉の中でも「クラウド」という言葉はもはや当たり前の言葉になりました。以前はSaaS、IaaS、PaaSなど細かくカテゴライズした言葉でクラウドを定義していましたが、最近では「〜aaS」と言う言葉を使う人が以前よりは減って来ているかなと感じます。（個人の感想です汗） そのクラウド関連ワードの中でも、ここ数年で台頭してきた新たな言葉として「サーバーレス」というものがあります。PasS(Platform as a Service)に近いものと考えますが、サーバーレスはFaaS(Function as a Service)と呼ばれることもあるそうで、極端に言ってしまえば、「
ヘッドレスChromeをAWS Lambda上のPuppeteerから操作してみた | DevelopersIO
ブラウザテストやスクレイピングのためにPuppeteerからヘッドレスChromeを操作させたい時があります。 AWS Lambda上でPuppeteerを動作さるために、ナイーブにデプロイパッケージを作成すると、Lambdaのサイズ上限に引っかかってしまいます。 GitHub - alixaxel/chrome-aws-lambda を利用し、Lambdaのサイズ制限を回避する方法を紹介します。 AWS Lambdaのパッケージサイズ上限とChrome単体のサイズ AWS Lambda のデプロイパッケージには以下のサイズ制限があります。 50 MB (zip 圧縮済み、直接アップロード) 250 MB (解凍、レイヤーを含む) Puppeteer パッケージのサイズを確認すると、Puppeteer に同梱さているChrome単体で250MBもあり、Lambdaパッケージのサイズを超過す
社内AWSエンジニア向けMac用ツールまとめ資料を公開してみる | DevelopersIO
はじめに こんにちは植木和樹です。今年の5月にクラスメソッドにJoinしてから早半年。当時6名体制だったAWSチームも15名近いメンバーとなりつつあります。 クラスメソッドでは入社した社員にMacBook Airが貸与されます。薄くて軽くて持ち運びに便利なので、いつでもどこでも仕事ができます（歓喜）。さて入社して数日間は仕事をするための環境作りに時間がとられるものですが、なるべく早くフルスロットルな仕事体制を整えてもらえるようクラスメソッド社内で使っているツール類をまとめてみました。 セットアップ手順まで記載するとエントリが長くなるのでツールの紹介のみです。参考となるセットアップ手順については紹介内でリンクを貼っています。 業務系ツール Chrome 配布元サイト Chrome ブラウザ 作業ミスを防ぐため、お客様のAWSアカウントごとにChromeユーザーを切り替えて使いましょう。設定方
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://yomikata.org/
GitHub - recruitcojp/WebHive: ブラウザよりHiveQLを実行できるWEBアプリケーション
