Google Japan Blog: 大規模日本語 n-gram データの公開
突然ですが、穴埋めクイズです。下線部に入る単語はなんでしょう? グーグルで_____ おそらく、「検索」「調べる」「探す」といった単語を思いつくのではないでしょうか？ 実際に、Webにあるドキュメントをくまなく調べ、「グーグルで」の後にくる単語を調べると、「検索」が1位であるとがわかります。 一般に、直前の(N-1)個の単語を見て、次の単語を予測するモデルをN-gram言語モデルといいます。さきほどは、「グーグル」 と 「で」の2単語から次を予想しているので、3-gram言語モデルの例となります。現時点の単語が、直前の(N-1)個のみに影響を受けるという仮説は、一見現実離れしているようですが、実際には非常に有効な場合も多く、かな漢字変換、OCRのエラー訂正、機械翻訳、音声認識などに広く用いられています。たとえば、音声認識の場合、ノイズ等で現時点の単語をシステムが聞き取れなくても、言語モデル
「ひとがご→人がゴミのようだ」 桁違いの語彙力、Googleが日本語入力ソフト（無料）発表…ATOKどうなる？ : 痛いニュース(ﾉ∀`)
「ひとがご→人がゴミのようだ」 桁違いの語彙力、Googleが日本語入力ソフト（無料）発表…ATOKどうなる？ 1 名前：☆ばぐた☆ ◆JSGFLSFOXQ ＠☆ばぐ太☆φ ★ ：2009/12/03(木) 15:07:34 ID:???0 グーグル日本法人は３日、日本語入力ソフト（ベータ版）の提供を始めた。ネット上から自動的に単語を収集して辞書をつくり、新しい言葉や専門用語、著名人の名前なども収録されているという。ソフトをダウンロードして使う。同社の検索で、入力間違いを類推して指摘する「もしかして機能」の担当技術者らが開発。単語を入力すると、同社の検索エンジンで単語を入力した時に表示される候補と似た変換候補がリスト表示され、必要な言葉を選ぶ。 http://mainichi.jp/select/biz/news/20091203mog00020019000c.html 「ぱんつじゃ」まで
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
