Perl で書くクローラのテスト - Qiita2017 年の Perl Advent Calendar 1 日目を担当する @codehex です。 とあるカテゴリのサービスを巡回するクローラを書く機会がありました。今回はそのテスト手法について僕が考えたことを書こうと思います。 文章でいっぱいの記事になりそうです... 考えたこと このクローラは巡回するサービス数が少ないことを前提としています。 クローラを開発するにあたって考えることが沢山ありましたが、その中でも特に次のことについて考えなければいけませんでした。 サービス毎で分かれるスクレイピング処理や DB への投入の処理を考慮して、どう処理を分岐させれば各々のデータを集めることが可能か 対応サービスを追加したい場合、難しいことを考えずに追加できるようにするにはどうすれば良いか 結果として、それぞれのサービス毎のパッケージを用意し、それらをプラグインとして扱う形式を取りました。実現
