はてなダイアリーキーワードの半数はWikipediaにない

最近、はてなダイアリーキーワードにWikipediaへのリンクがついたのを見て、両者がどれくらい重複しているのか気になって調べてみた。ダウンロードしてくるhttp://download.wikimedia.org/jawiki/latest/jawiki-latest-all-titles-in-ns0.gzhttp://d.hatena.ne.jp/images/keyword/keywordlist_furigana_with_kid.csv加工Wikipediaの方は展開すると1行1キーワードなのでそのまま。はてなの方は「読み スペース キーワード …」な形式なのでキーワードだけ残す。それと、WikipediaはUTF-8ではてなはEUCだったので文字コード変換したんだけど、変な文字が入ってるらしく、iconvを使うとこけた。PerlのEncode.pmだと大丈夫だった。ありがとうダ