Google 日本語入力のヒューリスティック - 武蔵野日記

Google 日本語入力のソースコードが公開されたらしい。Mozc (もずく)という名前だそうで。オフィシャルブログだけではなく、Twitter でもものすごい勢いで伝播していたようだが、すごい食いつきである。そして、公開されるやいなや読んだ人もたくさんいるようで、そちらもすごいなと思う。日本語入力エンジンのソース読む人なんて、ほとんどいないと思っていたのだが、逆にこんなに日本語入力って注目されるんだ、と嬉しい気持ちである(でも日本語入力エンジン作る人が増えたりはしないのかもしれない)。 そんな感じでいち早くソースコード読まれた @tkngさんがMozc(Google日本語入力)のコードを読んだメモを公開してくださった。ありがたい。変換アルゴリズムは、挙動から考えてそうだろうな、と思っていたのと同じだった。変換履歴を用いたリランキングをするところがなかなか難しいのだが、@tkng さんも手

[incep]

yes, we learn heuristic

[Gln]

SVMで予測し、NGワードをたくさん入れているっぽい。

[YMZ]

「統計ベースに一気に移行することで、このような知識が全部消えてしまうのは損失だと自分は考えていて、なんとかしてこのようなヒューリスティックと統計的な推論をうまく接合できないか」

[karatte]

知識を積み重ねるのも大変だし時間もかかるのだが、一番時間がかかるのはそういう知識をもった人材を育成することであり、辞書は作った人がいなくなってもまだ使えるが、人材は一度離れてしまうとそうそう戻ってくる

[dododod]

人手/