Python による Web スクレイピング - RAMBO

Web スクレイピングとは、プログラムによって自動的に Web から情報を取得する技術のことを指します。 本稿では、Python によって Web スクレイピングをする際の注意点、およびその方法について記載します。 まず、Web スクレイピングについて Wikipedia から引用します。 ウェブスクレイピング（英: Web scraping）とは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。ウェブ・クローラー[1]あるいはウェブ・スパイダー[2]とも呼ばれる。 通常このようなソフトウェアプログラムは低レベルのHTTPを実装することで、もしくはウェブブラウザを埋め込むことによって、WWWのコンテンツを取得する。 ウェブスクレイピングは多くの検索エンジンによって採用されている、ボットを利用してウェブ上の情報にインデックス付けを行うウェブインデクシングと密接な関係がある。