開発メモ: Wikipedia日本語版で英辞郎を鍛える
Wikipedia日本語版をMeCabで解析して作った頻度DBで、英辞郎の説明文を並び替えることでポップアップ辞書への最適化をさらに推進してみた。 背景 Kindleで使える英和辞書を作っている。元ネタとしては英辞郎を利用し、収録語の選別をCOCAとWikipedia英語版から作ったN-gram頻度DBで行い、WordNetで品詞を補完したところで、かなり実用性の高い辞書ができた。とはいえ、人間の欲は限りなく、使い込むほどに改善点が浮んでくるものである。 一つの語が複数の意味を持っている場合、一般的によく使われる順に並んでいてほしい。ポップアップ表示した際の表示文字数は限られているため、最初の方に特殊な用法が並べられると、そのビューでは意味が把握できない。ポップアップの中にある「show full description」ボタンを押せば全部の意味を見ることができるが、そこに時間をかけではポ
開発メモ: WikipediaのN-gram頻度DBを作る
Wikipedia英語版の本文中に出てくる単語の5-gramまでの組み合わせの頻度を数えてみた。全部で10億N-gramくらい処理した。 背景 英和辞書の収録語を選定するにあたり、単語N-gramの出現頻度を知っておくことが重要だ。前回の記事ではCOCA（Corpus of Contemporary American English）のN-gram頻度DBを利用したが、その他の選択肢も検討してみたい。COCAは口語とフィクションと雑誌と新聞と学術論文をバランスよく選定していると主張していて、確かに俺が知っているような英単語・熟語は大抵網羅されている。が、コーパス自体を自分で入手して前処理できると各種のチューニングができて嬉しいこともあるだろう。 で、簡単に手に入る大量のコーパスといえば、Wikipediaの記事である。Wikipediaの方が偏りがひどいという話もあるが、一般人が書く英語と
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Wikipediaによるテキストマイニング入門 - nokunoの日記
Wikipediaから作成したN-gramデータを公開しました - nokunoの日記
