指定したURLを形態素解析するスクリプト - Qiita

指定したURLごと形態素解析をしてみようと実験。 正規表現でHTMLタグを除去しようとしたけど除去しきれない。 #!/user/bin/env python # -*- coding: utf-8 -*- import urllib import sys import MeCab import re while True: search_url = raw_input(u"input URL: ") def Mecab_file(): req = urllib.urlopen(search_url) dlText = req.read() mt = MeCab.Tagger("mecabrc") data = [] p = re.compile(r"<[^>]*?>") sus = p.sub("", dlText) data.append(sus) node = mt.parseToNo