MT - DO++

機械翻訳の話を御茶ノ水で聞いてきた。 googleの人はWebデータとか対訳コーパスたくさんつかって、かなりいい結果が出たよという話。今年の夏にNIST/MTで発表されるんだとさ。 それに加えて、フレーズとフレーズの意味的近さをフレーズが出現したドキュメント中の単語やフレーズ同士の内積で測るということをいっていた。手法自体は昔からあるものだが、なにしろ80億ページと規模が違う。わざと飛ばしていたのかもしれないが、ぱぱっと飛ばしたスライドにどのように計算をしているか（そして打ち切っているか）が書いてあった。たぶんこれが一番重要。気になる。 質疑応答の時に、Webデータは信頼の無いデータだらけで、フィルタリングとかしているんですかという質問があったが、回答では50%の情報が間違っていても残り50%の正解は収束していてピークがあるから、そこのピークをとればいいよという回答。基本的なことだが忘れが

[subarukun]

Google機械翻訳の講演レポ。巨大データのノイズ対策は、正解が収束するピークをとる。Ｆ研の翻訳Gの話も。