PythonでWebスクレイピングと形態素解析。 - SE Can't Code

Webは情報の宝庫なのでクローラーを作って巡回させたりすると楽しい。僕も入社1年目の時に検索エンジンを自作して一人遊んでいたが、最近また久しぶりにスクレイピングで遊んでみた。 Webページをスクレイピングして、そのページを特徴付ける単語を抽出したい時、PythonだとBeautifulSoupとMeCabを利用すれば簡単に抽出できる。urllib2でHTMLを読み込んであげたあと、BeautifulSoupに渡してあげるとHTMLタグごとの操作が簡易的になったりして、Parseがとても簡単に出来るようになる。たとえば、soup.find_all("a")を指定すると、タグaの情報を全て取得できるようになり、このようにBeautifulSoupを使うと、HTML中の必要な情報の操作がとても楽になる。 import urllib2 from bs4 import BeautifulSoup h

[kikuchi1201]

メモ

[munyamnya]

“BeautifulSoup”