Pythonで2chのスレをスクレイピングしてMeCabで形態素解析してみる - matsulibの日記
スクレイピングはlxmlが便利。 MeCabはWindows用のバイナリが用意されてるけど、それだとpythonから使うためのmecab-pythonがインストールできないらしく、MeCabのソースコードを弄って自分でビルドしなくちゃいけないらしい。 ということでいくつかの記事を読んで試したけど結局うまく行かず心が折れてしまった。 一方、Ubuntu（実際使ったのはLinuxMint）ならソースコードを弄る必要はなかった。 参考サイト Ubuntu 13.10でRubyからMeCabを使えるようにしたメモ - Qiita python3対応 Mecabの紹介 - Python, web, Algorithm 技術的なメモ PHP - 2chスレをスクレイピングする方法 - Qiita さて、2chスレのURLを与えて、その中のIDと単語をカウントしてみた。 ただしURLや顔文字が分解されて
クローラー／スクレイピング本がざくざく - プログラマでありたい
2015年8月末に、クローラー／スクレイピング本が2冊同時に発売です。Python版メインのものとJavaScript版メインのものです。なかなか市場のニーズ突いてきていますね。 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック 作者: nezuq,東京スクラッパー(協力)出版社/メーカー: マイナビ発売日: 2015/08/28メディア: 単行本（ソフトカバー）この商品を含むブログを見るJS+Node.jsによるWebクローラー/ネットエージェント開発テクニック 作者: クジラ飛行机出版社/メーカー: ソシム発売日: 2015/08/31メディア: 単行本この商品を含むブログを見る 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニック 実践 Webスクレイピング&クローリング-オープンデータ時代の収集・整形テクニックは、Py
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
