PythonでWebスクレイピングを行うためには、いろいろなアプローチが存在します。このセッションでは、Webスクレイピングを行う場合に、有用なライブラリの紹介、クローリング、データの取得方法などについてお話しします。 Webスクレイピングとはなにか WebサイトからHTMLデータの収集 特定データを抽出、加工 抽出したデータを再利用 クローラー、スパイダー English 削る ページから必要な内容を抽出する 用途 検索エンジン 価格比較 気象データの監視 マッシュアップ など 方法1 kimono import.io Yahoo Pipes 方法2 Ruby Perl Pythonでのスクレイピング 標準ライブラリ BeautifulSoup pyquery Scrapy(読み方が結構揺れてるけどスクレピー) Python=バッテリー付属言語 標準ライブラリ ネットワーク、正規表現 処