MeCabの辞書にはてなキーワードを追加しよう - 不可視点

MeCabは形態素解析のためのソフトウェアです。日本語を分かち書きするために使われるものとしては最も人気の高いものだと思われますが、チャットや掲示板に書き込まれるような崩した日本語や、正しく書かれた日本語でも新語を期待した通りに分かち書きしてくれないことがあります。これはMeCabの内部で使われている辞書が一般的な言葉を情報源としているわけではないことに関係があります。MeCabというか、より一般的な話ですが以下のような認識が一般的かと思われます。 というのも、一番広く使われているであろう自然言語処理技術は形態素解析(単語分かち書き、と言ったほうがいいのかもしれない)であろうが、これは現在99%くらいの精度になっていて、すでに人間がやるより遙かに高精度で行えるのだが、これだけ高い精度が出せるのは新聞記事を相手にしたときだけであって、それは新聞記事をコーパスとして用いる機械学習により形態素解

[been6]

Mecab　コスト　連結コスト　調整

[satomacoto]

“wget http://d.hatena.ne.jp/images/keyword/keywordlist_furigana.csv -O hatena.txt”

[RabbitBit]

createDict.pyの「k = k.lower()」を「k = k.replace(',','').lower()」に変えたら、その後のCSVからMeCab辞書への変換がdone!した。

[takepierrot]

Python使ってるけど、これくらいならPerlで書きなおしできそうやな

[incep]

これ面白そう

[nikutaiha]

mecabの辞書追加

[ortica]

[h:keyword:http://b.hatena.ne.jp/hotentry/20090531][h:keyword:MeCab]

[hidehish]

見てる:

[sevenbluesea]

mecab

[kasajei]

mecab

[lucky_pool]

これはためになった！！

[secondlife]

はてなキーワードを mecab の辞書に追加

[nantan]

MeCab、形態素解析

[katow]

MeCabは是非使いたいが辞書のメンテが初心者の私にはまだ直感的にわかっていないので、参考になりそうです。ありがとうございます。

[moqada]

mecabの辞書に新たに単語を追加する方法

[rytich]

形態素解析 自然言語処理

[nilab]

MeCabの辞書にはてなキーワードを追加しよう - 不可視点

[americanboss]

ジャーゴンやスラングのみならず、よく使われてるっぽい略語が含まれるのはナイス。

[phji]

このエントリを見せれば、就職活動は心配いらないだろう

[faw]

昔anthy用に作ったなぁ

[hiromark]

使えそう。

[rawwell]

"MeCabはユーザーが辞書を更新することが出来ます。MeCab: 単語の追加方法を参考にはてなキーワードを追加します。"

[mamoruk]

単語の切り間違いが一番それ以降の処理に影響を与えますね。はてなキーワードからの単語獲得の研究も去年からちらほら見かけます。Wikipedia は研究対象としては2005年くらいから、もう絞り尽くされた感がありますが。。

[lepton9]

bot

[juno_c]

やりましたね

[murawaki]

実際に困っている人がいる

[kiryuu]

あ、なんか似たようなことしようとしている人がいる。私はwikipedia

[ultraist]

コスト。追加分は既存辞書より優先度高くすればいいのか。前にMeCab 2ch語辞書と自作アニメタイトル辞書を入れようとして、コストの決め方バラバラっぽいけどいいのかコレ、と思って元が不明だしテキトウにしてしまた

[terazzo]

新語のパラメータは悩む。長さ+αに比例などにすれば、新語間では最長一致に出来るかも。＞文字列の長さに応じてコストを設定

[YMZ]

単位を考えずに辞書にどーんと放り込んじゃうとかえって精度が落ちることもあると思うけど、どうかな。