気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
qiita.com/oddgaiエントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
0
記事へのコメント0件
- 注目コメント
- 新着コメント
新着コメントはまだありません。
このエントリーにコメントしてみましょう。
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
ScrapyのItem Pipelineで複数Spiderの完了をSlackに通知する - Qiita
できたもの 環境 Python: 3.7.10 Scrapy: 2.5.1 背景 個人的にいくつかのクローラーをScrapyで運用して... できたもの 環境 Python: 3.7.10 Scrapy: 2.5.1 背景 個人的にいくつかのクローラーをScrapyで運用していて、クロールが終わったりエラーになったら通知してほしいなと思いました。 ぱっと思いついたやり方は以下の通りでした。 （クロール結果がS3に出力されるので）Lambdaで出力を検知して通知する エラーでS3に何も出力されなかったら検知できない Scrapyの各Spider（spiders/*.py）内に通知処理を書く Signalsという機能を使えばできそう エラー検知用のメソッドがある 同じScrapyプロジェクト内に複数のSpiderを動かしていて、同じ処理を複数の場所で書きたくない ScrapyのItem Pipelineを使う ここに書けばすべてのSpiderに適用される エラー検知用のメソッドはないが、自分で書けばよい ちゃんとエラー検知したいなら
qiita.com/oddgai
qiita.com/oddgai
qiita.com/oddgai
qiita.com/oddgai
logmi.jp
news.yahoo.co.jp
nlab.itmedia.co.jp
zenn.dev/koki_algebra
togetter.com
qiita.com/ssugasawa
methane.hatenablog.jp
togetter.com
codezine.jp
xtech.nikkei.com
www.itmedia.co.jp
kakuyomu.jp
ewa4618.vjck.com
www.facebook.com
