アドベントカレンダーの最後を糞な記事で締めくくりたい！ - なんかてきとうにこの記事はWebスクレイピング Advent Calendar 12/25 の記事です。 初めに 大体タイトルの通りなので割と読むだけ時間の無駄です。 書くのも時間を無駄にした感が半端ないです。 私とクローリング 私がWebページをクローリングしようとした最初のきっかけは、とあるテキスト系サイトのテキストを読み逃しなく読みたいという欲求からでした。 当時、個人でWebサイトを持つのが普通になって、みんなhtmlタグをポチポチ自分で打ってた頃、過去ログなんて存在しない！みたいなテキストを不定期に更新するだけのページが存在しました。 RSSとかそんな良いものもなく、とりあえず毎日見てれば逃すことはないだろうという雰囲気があったころ。 ただ、毎日巡回するってまぁ大変で忘れますよねって、そこで毎日クローリングして変化があれば保存するというそれだけのスクリプトを書きました、perlで。 何のひねりも
