統計的機械翻訳のツールGIZA++を使ってみた - nokunoの日記
GIZA++を使ってWikipedia対訳コーパスをアライメントするまでやってみました。Wikipedia日英京都関連文書対訳コーパスWikipedia日英京都関連文書対訳コーパスGIZA++ giza-pp - Project Hosting on Google Codeなお、環境はMacbook Airでも動いたのですが、重かったのでサーバーのCentOSで動かしました。# 対訳コーパスをダウンロードして整形$ wget http://alaginrc.nict.go.jp/WikiCorpus/cgi-bin/dl1.cgi$ tar xfz wiki_corpus_2.0.tar.gz$ cd wiki_corpus_2.0$ mkdir parallel$ cat */*.xml | egrep '^' | sed -e "s///g" | sed -e "s///g" > pa
統計的機械翻訳におけるフレーズ翻訳モデル構築実習 - 武蔵野日記
NAIST サマーブートキャンプ2日目。今日は1時間統計的機械翻訳の復習をしたあと、実習。 実習は3本立てで、Moses というオープンソースの統計的機械翻訳エンジンを使い、日英の翻訳機を作って考察する、というもの。データは旅行会話のデータ4万文なので、学習しても翻訳させても5分程度、ちょうどよいくらいである。(自分が M2 のとき学習は15-30分程度かかっていた気がするので、計算機も速くなったものだなぁ) 見所としては、ちゃんと動くものが1時間とかからず作れますよ、ということと、未知語やフレーズに基づく手法の欠点(日本語と英語のように統語構造がかなり異なる言語だと、格助詞など機能語が変なところで切れたり入ったりすることがよくある)を見てもらうところ。今回は実際にフレーズテーブルを見てもらい、翻訳のエラーについてどんなエラーがあり、どんな理由でそれが起こるのか考察してもらった。 フレーズ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
1GBレンタルサーバー・プロバイダー Amusement BiG-NET | www15.big.or.jp/~t98907/unmei/diary/?20100215
Google Code Archive - Long-term storage for Google Code Project Hosting.