タグ

mecabに関するlikesideのブックマーク (1)

  • MeCab の IPA 辞書を再学習させてみる / 桃缶食べたい。

    MeCab の IPA 辞書を再学習させてみる MeCab の辞書は利用する分野に応じて、新たな名詞や動詞などを追加したり、その分野の文章の解析精度を上げるよう再学習させることができます(この作業はドメイン適応と呼ばれるそうです)。 ドメイン適応の第一歩としては、未知の名詞の MeCab 辞書への登録から始めると良いです。 ただ登録作業自体は、辞書をビルドする際に、その単語を後述のフォーマット(※1)で書いた .csv ファイルを混ぜておけばいいので、それほど難しいことではありません。問題となるのはその単語がどの程度使われやすいのかを調整する必要があることです。この使われやすさを示す数値はコストと呼ばれ、単語を登録する際には自分で決め打ちしなければなりません。 コストの手動計算方法はネット上でもいくつか紹介されていますが、手動計算ではあまり複雑な計算はできないので、同じ品詞のコストが同じ値

  • 1