はてなブックマーク

この記事は、and factory.inc Advent Calendar 2021の 15日目 の記事です。 昨日は、@hagmonさんの「【Flutter】アプリ起動時に未処理トランザクションを処理する方法」でした。 追記 (2023/12/06) やるに当たってどんな関数を作っておくと良いかという視点で別の記事を書きました。こちらも参考になれば幸いです。 Goで競技プログラミングをするときに作っておくと便利な関数 追記 (2022/05/21) 手順について、今はより効率の良いやり方で進めているので書き直しました。 概要 この記事では業務とは離れてますが、趣味で取り組んでいるAtCoderの話についてまとめてみたいと思います。始めてから半年ほどで、最近やっと水色になれました！この記事ではどんな感じでやっているか、水色になるまで、やって良かったことなどを雑多にまとめていきます。 htt

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 概要 https://github.com/awslabs/aws-lambda-redshift-loader を利用してS3とRedshiftを連携する時の手順についてのメモです。これを用いる事で、S3にCSVファイルを置くだけで、自動的にRedshiftにそのCSVをINSERTしてくれるようになります。基本的に上記のREADMEを読んで、実行していけば良いだけなのですが何点かつまづいたのでそれをメモしておきます。今後同じ事をする際に参考になれば幸いです。 前提 今回の例では既にVPCやサブネットがある状態で構築していきます。また

概要 puppeteerを利用してスクレイピングする際、使用頻度が低ければ毎回puppeteerからchromeを起動すれば良いのですが、使用頻度が高かったり並列処理を行わせようとすると、起動する分だけchromeのプロセスが立ち上がる事になり、リソースを逼迫します。 また上記の問題により、一つのchromeを使い回すとしても、工夫をしないとページのプロセスが異常に溜まってしまったり、ページがクラッシュしてそれ以降そのページでスクレイピングができなくなるという事象が発生したりします。 上記、対策を重ね最近やっと安定稼働するようになったので、そのやり方を共有します。 細々と書いていますが、やっている事は問題があったら愚直に再起動させているというだけです。 puppeteerの起動 以下ログが多分に含まれていますが、単純に起動させるだけです。 初回起動させた後は後述するpage作成に失敗した時

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?