無限スクロールするページをクロールする方法 - Qiita無限スクロールとは？ FacebookやTwitterのタイムラインなんかで見られる、ページの下までスクロールすると、新しい情報が読み込まれる、あれです。 動機 無限スクロールのページをクロールしようと思った理由は、学校の課題の関係でTwitterの過去ツイートを引っ張ってくる必要があったからです。 え、Twitterは公式APIがあるじゃないか、というそこのあなた。Twitterの公式APIがあまり親切でなく、1週間より前のツイートは取得できない仕様になっています。つまり、それより昔のツイートをとってきたい場合は自分でクロールしなければいけません。そして、Twitterの検索結果は、無限スクロールで表示されるので、無限スクロールするページをクローリングしなければいけません。 無限スクロールをクロールするのが難しい理由 クローラーは基本的に、以下のように動作します： 1. 与えられたurl
