はてなブックマーク

Cosnomiプログラミングをする医学生。物を作ること、自動化すること、今まで知らなかったことを知ることが好き。TypeScript書いたり、Pythonで機械学習したりなど。 Twitter / GitHub / GPG key / Fediverse / My Page 定期的に軽いタスクを実行したいときには、AWS Lambdaを始めとするFunction as a Service (FaaS)を用いると便利です。APIが提供されていれば、それを叩くだけで簡単に情報が取得できます。しかし、APIが提供されていない場合は、スクレイピングを行う必要があります。この記事では、AWS Lambda上のnode環境からPuppeteerというパッケージを用いてスクレイピングを行う方法を解説します。 Puppeteerとは Chromiumを操作できるnodeライブラリです。私達がブラウザで行う

インターネットでよく解説されているシンプルなコードは上のようなものだと思いますが、このコードをプロダクションで使用すると、対象のサーバーが応答しない場合フリーズしてしまう可能性があります。timeoutが設定されていない、つまり、最大で何秒待機すればよいか指定されていないからです。Webサービスの場合、待機中はユーザーに応答できなくなるので、本当は別の依存しているサーバーに責任があるのに、ユーザーにはあなたのWebサービスに問題があるように見えてしまうかもしれません。 Timeout を設定する必要性 ですから、timeout を設定しましょう。数秒待って応答が来なかったらエラーとして処理すればよいのです。 requests公式のドキュメントでもtimeoutを設定することが推奨されています。 Most requests to external servers should have a

Cosnomiプログラミングをする医学生。物を作ること、自動化すること、今まで知らなかったことを知ることが好き。TypeScript書いたり、Pythonで機械学習したりなど。 Twitter / GitHub / GPG key / Fediverse / My Page 注意: このサービスは既に公開を終了しましたKyabinetは2018年にサービスを公開し、およそ100名の方にご利用いただきました。 しかし、私が運営に関する時間的・経済的なコストを負いきれなかったことや、特にユーザの投稿するコンテンツに対してのモデレーションを行うリソースがなかったことから2019年にサービスを終了しました。 サービス終了に伴い、この記事も公開を停止していましたが、本記事はいくつかのサイトからリンクされており、訪問者から記事公開の問い合わせを頂いたことから、2021年に再度公開することといたしました