ブックマーク / d.hatena.ne.jp/nokuno (2)

  • 言語処理学会の論文誌「自然言語処理」がオンライン公開されました! - nokunoの日記

    Twitterで@zelchmixijp先生のつぶやきから言語処理学会の2008年までの学会誌が公開されているのに気づきました。自然言語処理の最先端の研究を論文のPDFという形で読むことができます。閲覧は年別か、キーワード検索を行なうことができます。The error occurred in this web page. 私は最近の論文や興味のある分野の論文についてはだいたい知っていたのですが、1994年の創刊号から時系列順にまとまっているので、初期の論文がどんな感じだったかとか、90年代後半の研究動向について知ることができます。昔の論文を読むと、業界では有名な先生方の若い頃の仕事を垣間見ることができたりして、面白いです。 というわけで、いくつか紹介していきたいと思います。なおPDFにリンクを張っているので、ブラウザで開く場合はPDFを非常に高速に表示できるChrome 8以降をおすすめし

    machy3
    machy3 2011/03/03
  • EMアルゴリズムによるスペル訂正エンジン - nokunoの日記

    以下の論文が面白かったので紹介したいと思います。Learning a Spelling Error Model from Search Query Logs Noisy Channel Modelによるスペル訂正エンジンスペル訂正には標準的なNoisy Channel Modelを使うことができます(最近は識別モデルも流行りのようです)。A Spelling Correction Program Based on a Noisy Channel ModelNoisy Channel Modelでは、入力が与えられたときの訂正候補の確率を以下のようにモデル化します。言語モデル はコーパスやクエリログから単語N-gram、文字N-gramなどを推定し、スムージングして利用することが一般的です。エラーモデル は入力と出力候補の編集距離をもとに計算することが多いです(他に共起頻度やクリックログを利

    machy3
    machy3 2011/02/12
  • 1