サイトごとに正規表現+文字列操作のコードを作って書き捨て。変更はエラー通知。変更が多発するから、単体での動作テストのしやすさを最優先で作るといいよ。キューはメールみたいにファイルベースでも結構行けるゾ

rti7743 のブックマーク 2020/05/16 02:32

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4685727791220086210/comment/rti7743" data-user-id="rti7743" data-entry-url="https://b.hatena.ne.jp/entry/s/techblog.zozo.com/entry/crawler-cloud-service" data-original-href="https://techblog.zozo.com/entry/crawler-cloud-service" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Ftechblog.zozo.com%2Fentry%2Fcrawler-cloud-service" data-user-icon="/users/rti7743/profile.png">クローラー運用を楽にするためのクラウドサービス比較 - ZOZO TECH BLOG</a><br><p style="clear: left">サイトごとに正規表現+文字列操作のコードを作って書き捨て。変更はエラー通知。変更が多発するから、単体での動作テストのしやすさを最優先で作るといいよ。キューはメールみたいにファイルベースでも結構行けるゾ</p><a class="datetime" href="https://b.hatena.ne.jp/rti7743/20200516#bookmark-4685727791220086210"><span class="datetime-body">2020/05/16 02:32</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

クローラー運用を楽にするためのクラウドサービス比較 - ZOZO TECH BLOG

techblog.zozo.com2020/05/15

こんにちは！最近気になるニュースはスピノサウルスの尻尾の化石が発見されたこと1な、SRE部エンジニアの塩崎です。ZOZOテクノロジーズの前身となった会社の1つであるVASILYでは数多くのクローラーの開発・運用の...

103 人がブックマーク・13 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

クローラー運用を楽にするためのクラウドサービス比較 - ZOZO TECH BLOG

はてなブックマーク

公式Twitter

はてなのサービス