nabokov7; rehash : livedoor クリップのデータセットを公開しました

January 15, 200912:22 カテゴリ公開やら広報やら livedoor クリップのデータセットを公開しました はじめての試みなので，カジュアルな悪用を防止するための心理的なハードルとして，念のため，フォームから申し込んだ人にのみURLとパスワードを通知する，という形式をとっています。 特に個人/法人/学術機関等の区別はしていません。ライブドアからのお得なお知らせとかを配信する予定もありませんので，安心してお申し込みください。 内容はすべてサイト上に公開されているデータのみですが 研究者側の，データ収集のための余計な手間を軽減する。 クローリングによるサービス側の不要な負荷を回避する。 各研究者が同じデータに基づいて実験を行うことができるので，実験の再現/追試が可能になる。 というメリットがあると考えています。 データセットの仕様 3つ以上の公開クリップがついているページへの

[nekogaegaku]

『6ヶ月毎に新しいcsvファイルを書き出す。(以前のデータも引き続きダウンロード可能。次回の書き出しは2009年6月を予定しています。) 2008年12月版は157万行，gzip圧縮済で約28MBです。』

[tsupo]

3つ以上の公開クリップがついているページへのクリップで，3ヶ月以上前から存在する公開クリップ / スパマやR18の除外などはしない / 6ヶ月毎に新しいcsvファイルを書き出す (次回の書き出しは2009年6月を予定)

[sasakill]

nabokov7++

[y_yanbe]

今回のデータセットのparseの仕方