ニコニコ動画のコメントのクローラーを作った - 盗んだ統計で走り出すとある解析がしたかったので，自作クローラーでニコニコ動画のコメントを取得し，とりあえず適当に可視化した． ニコニコ動画のコメントといえば，情報学研究データリポジトリ ニコニコデータセットが有名だが，今回は最新のコメントが必要なのでクローラーを作成した． コメントの収集方法 自作のクローラーを使って取得した．取得したクローラーのソースコードはGistにアップした． NicoCrawler.py - Gist 大体2015/02/24-28にかけて取得した．取得の際は念の為少なくとも3秒間隔でアクセスするようにした．取得する動画については2014秋アニメ一覧のページに載っているアニメの過去放送分の動画のその時点での全てのコメントを取得した．収集したコメントは13,074,945件，ファイルサイズは2.2GBだった． 取得のログによると，なぜかダブってコメントを収集していたり取得漏れがあったりし
