はじめに Yahoo!オークションの商品の落札価格の予測をしようと思い、過去の落札商品の値段のデータを数百件分取得する必要があった。この為の手法としてWeb APIを使う方法や、Webスクレイピングと言うWebページの特定の部分を削り出す方法がある。そこでYahoo!オークションのページをWebスクレイピングするのに情報をまとめてみた。 準備するべき環境 LAMP環境やXAMPPなどPHPが実行できるもの PHP Simple HTML DOM Parser(ソースコードはこちら) Ruby,Pythonなどの言語でWebスクレイピングのできる環境が整っている ヤフオクページの検索クエリの内訳 まずヤフオクのサイト(http://closedsearch.auctions.yahoo.co.jp/closedsearch?select=XX&ei=UTF-8&va=XX)の?マーク以後に様