はてなブックマーク

AWS Lambdaは関数が非同期に応答を返すための方法を2つ用意しています。1つは引数で渡される callback() 関数を呼び出す方法で、もう1つはasync/awaitを用いる方法です。 どちらも難しくはないのですが、異なる方法をコード内に共存させると、一見不可解な Malformed Lambda proxy response が発生してしまいました。これに関連して、今回は複数の非同期応答の優先順位について調べたので書き残しておきたいと思います。 LambdaのレスポンスLambdaで非同期に応答を返すための方法は2つあります。 async/awaitを使う(=Promiseを返してresolveされた時点でレスポンスを送信する)

Cosnomiプログラミングをする医学生。物を作ること、自動化すること、今まで知らなかったことを知ることが好き。TypeScript書いたり、Pythonで機械学習したりなど。 Twitter / GitHub / GPG key / Fediverse / My Page 定期的に軽いタスクを実行したいときには、AWS Lambdaを始めとするFunction as a Service (FaaS)を用いると便利です。APIが提供されていれば、それを叩くだけで簡単に情報が取得できます。しかし、APIが提供されていない場合は、スクレイピングを行う必要があります。この記事では、AWS Lambda上のnode環境からPuppeteerというパッケージを用いてスクレイピングを行う方法を解説します。 Puppeteerとは Chromiumを操作できるnodeライブラリです。私達がブラウザで行う

インターネットでよく解説されているシンプルなコードは上のようなものだと思いますが、このコードをプロダクションで使用すると、対象のサーバーが応答しない場合フリーズしてしまう可能性があります。timeoutが設定されていない、つまり、最大で何秒待機すればよいか指定されていないからです。Webサービスの場合、待機中はユーザーに応答できなくなるので、本当は別の依存しているサーバーに責任があるのに、ユーザーにはあなたのWebサービスに問題があるように見えてしまうかもしれません。 Timeout を設定する必要性 ですから、timeout を設定しましょう。数秒待って応答が来なかったらエラーとして処理すればよいのです。 requests公式のドキュメントでもtimeoutを設定することが推奨されています。 Most requests to external servers should have a

Cosnomiプログラミングをする医学生。物を作ること、自動化すること、今まで知らなかったことを知ることが好き。TypeScript書いたり、Pythonで機械学習したりなど。 Twitter / GitHub / GPG key / Fediverse / My Page 注意: このサービスは既に公開を終了しましたKyabinetは2018年にサービスを公開し、およそ100名の方にご利用いただきました。 しかし、私が運営に関する時間的・経済的なコストを負いきれなかったことや、特にユーザの投稿するコンテンツに対してのモデレーションを行うリソースがなかったことから2019年にサービスを終了しました。 サービス終了に伴い、この記事も公開を停止していましたが、本記事はいくつかのサイトからリンクされており、訪問者から記事公開の問い合わせを頂いたことから、2021年に再度公開することといたしました