スペル修正プログラムはどう書くか

Peter Norvig / 青木靖 訳 先週、2人の友人(ディーンとビル)がそれぞれ別個にGoogleが極めて早く正確にスペル修正できるのには驚くばかりだと私に言った。たとえば speling のような語でGoogleを検索すると、0.1秒くらいで答えが返ってきて、もしかして: spelling じゃないかと言ってくる(YahooやMicrosoftのものにも同様の機能がある)。ディーンとビルが高い実績を持ったエンジニアであり数学者であることを思えば、スペル修正のような統計的言語処理についてもっと知っていて良さそうなものなのにと私は驚いた。しかし彼らは知らなかった。よく考えてみれば、 別に彼らが知っているべき理由はないのだった。 間違っていたのは彼らの知識ではなく、私の仮定の方だ。 このことについてちゃんとした説明を書いておけば、彼らばかりでなく多くの人に有益かもしれない。Googleの

[nikkie-ftnext]

textlintを触った後、欲しかったものは日本語スペルチェッカーと気づく。英語の実装は https://github.com/barrust/pyspellchecker にあり、そこからリンクされていた記事の日本語訳。typo検知をPythonにやらせようは今後のもくもく題材

[peroon]

スペル訂正はこれでOK!

[lpm11]

How to Write a Spelling Corrector

[mooz]

スペル修正プログラム. 編集距離.

[japanrock]

検索エンジンの「もしかして ◯◯」：ベイズの定理、編集距離

[gabill]

スペルミス修正プログラムを応用したら麻雀のAIが作れそうな気がする。なんとなく。

[kgbu]

アルゴリズムよりも、問題をいかにモデル化するか、何が解決すべき問題なのかを把握すること、が大切だと感じる例。そうすれば２０行程度のコードで問題の８０％が解決でき、ベンチマークのたたき台もできる。

[yorihito_tanaka]

編集距離

[hiromark]

今後必要となったときのために、とりあえずクリップ。

[ma_ko]

言語モデルと誤りモデルと呼んだりするのね

[hisasann]

すごいけど、いまいち読めないｗ

[webmarksjp]

プログラム

[y_r]

そうか

[syou6162]

ブクマして読んでいなかった

[showhen]

Python スペルチェック　確率論　自然言語処理

[okagawa]

ベイジアン

[nilab]

スペル修正プログラムはどう書くか : "How to Write a Spelling Corrector" by Peter Norvig

[taniguchitomoya]

bayesを使ったスペルミスの修正方法とそのコード。やっていることは簡単。このやり方だと日本語は文字種類が多いから難しいんだよなぁ。

[shidho]

日本語だとここに行く前に分かち書き化の妥当性も考えないといけないんだろうなあ。

[Cortel]

edit distance とかベイズ定理とか

[nitoyon]

via 人気エントリ。

[valda]

先週、2人の友人(ディーンとビル)がそれぞれ別個にGoogleが極めて早く正確にスペル修正できるのには驚くばかりだと私に言った。たとえば speling のような語でGoogleを検索すると、0.1秒くら...

[massy2412]

理解できるのかわからん

[toton]

ベイズの定理、編集距離

[hirose31]

もしかして：

[shibacho]

後で読む

[sleepy_yoshi]

グーグルのスペル修正プログラム by Python

[kkobayashi]

ベイズとか出てきておっきした

[khiker]

英語の場合. 完全には理解できねえや. 自分でも組めたらいいな.

[uemu]

ほほう