ヤフオクのデータ収集プログラムは大雑把に言って次のように行っている。 (1)C73などのキーワードでヤフオク検索を1ページから順に、最終ページまで行い、未登録のオークションを見つけたらデータベースに追加する。 (2)データベースから、(1)で検索されなかったもので、且つ既に終了しているオークションを除いたもの*1について、個別URLを開いて終了ステータス(落札額など)を取得する (3)一定時間待機し、(1)から繰り返し (2)で、既に終了しているオークションを除いているのは、終了済みオークションの個別データを再取得する必要は(通常)無いと考えられるからだ。そうでないと毎サイクル数万件に及ぶ個別URLを処理しなければならないことになり、1サイクルが途方もなく長くなってしまうだけでなくYahooサーバにも無用の負荷をかけてしまう。 しかし、今回は終了後に落札者削除されたりするケースも若干ではあ