Wikipediaのキーワードリンクを使って関連語データを作ってみた

Wikipediaのキーワードリンクを使って関連語データを作ってみた 2007-06-09-3 [NLP][Programming][Algorithm] Wikipedia のキーワードリンクを使って関連語データ（関連キーワード集） を作ってみた。 Wikipedia のデータはダウンロードページからbz2形式のを取ってきた。 日本のウィキペディアのXMLデータね。 (see Wikipedia:データベースダウンロード) で、Perlスクリプトで以下の関連語データ作成処理を行った。 （スクリプトはこの記事の末尾に載せておく） (1) 各キーワードページに含まれているキーワード（リンク）を取り出す。 例えばキーワードAのページにB,C,Dが含まれていたら、A => B,C,D というデータを蓄積。 またキーワードAが他のキーワードのページ（例えばX）に含まれていたら、それも蓄積。その場合

[TheTocotonist]

wikipedia で keyword links

[udzuki]

関連語サーチ。ソースもある

[toton]

類語 シソーラス 関連語データ（関連キーワード集）データサイズは130Mバイト。53万エントリ。関連語データ作成スクリプト(Perl)

[webmarksjp]

nlp

[aidiary]

Wikipediaデータを用いてシソーラスを構築

[ICHIRO]

自然言語処理

[TransFreeBSD]

データ、コードサンプル他参考になる

[larker]

キーワードリンクによる関連語データ

[choro23]

100MB超

[d4-1977]

こいうの面白そう

[Kiske]

うぉ、今まさにこれと同じようなの作ってる。あー方針どうなることやらｗ

[nilab]

_ [を] Wikipediaのキーワードリンクを使って関連語データを作ってみた

[tsupo]

途中でテンポラリファイルに出力しているのはメモリ対策 / この手の処理はすぐにメモリが足りなくなるので、いろいろと工夫が必要

[staki]

wikipedia のデータはもっと使われて良いと思ってた。

[yokochie]

ハッシュの代わりにDB使えばメモリはあんまり気にしなくてもいいかな。すごく遅くなるけど自分がよくやる手法

[pha]

ひょっとしてこれ凄いんじゃ？／これのAPIがあったらいいのになあw

[ceekz]

Wikipedia データの解析の参考に