pialign - Phrasal ITG Aligner
pialign is a package that allows you to create a phrase table and word alignments from an unaligned parallel corpus. It is unlike other unsupervised word alignment tools in that it is able to create a phrase table using a fully statistical model, no heuristics. As a result, it is able to build phrase tables for phrase-based machine translation that achieve competitive results but are only a fracti
kenlm . code . Kenneth Heafield
KenLM estimates, filters, and queries language models. Estimation is fast and scalable due to streaming algorithms explained in the paper Scalable Modified Kneser-Ney Language Model Estimation Kenneth Heafield, Ivan Pouzyrevsky, Jonathan H. Clark, and Philipp Koehn. ACL, Sofia, Bulgaria, 4—9 August, 2013. [Paper] [Slides] [BibTeX] Querying is fast and low-memory, as shown in the paper KenLM: Faste
MLTL: Machine Learning Templete Library
MLTL: 機械学習テンプレートライブラリ Introduction MLTL機械学習テンプレートライブラリは，自然言語処理へ機械学習を応用する研究や，より自然言語処理に適した機械学習手法の開発を容易にするため，YANS活動の中で清水伸幸と宮尾祐介を中心として作られた C++ テンプレートライブラリです．特に，系列構造や木構造など，自然言語の構造を表現するのに適した構造に対して，様々な機械学習アルゴリズムを利用できるように設計されています． 設計の特徴として，データ構造を表すクラスと学習アルゴリズムを表すテンプレートクラスを分離し，これらの間をつなぐインタフェースを設定することで，汎用性を高めています．これにより，新たにデータ構造クラスを作成した場合に様々な学習アルゴリズムとの組み合わせを容易に試すことができ，逆に，新たな学習アルゴリズムを実装した場合には様々なデータ構造との組み合わせを試
Khafra - A Phrase-based DP Beam Search Decoder -
Khafraは、筑波大学 自然言語処理 on the Web 研究室が開発した、オープンソースのフレーズベース統計的機械翻訳(PBSMT)デコーダです。 Khafraデコーダは、オープンソースのPBSMTシステムMosesにより学習したモデルを利用して翻訳を行います。探索にDPビームサーチ(詳しくはこちらを参照)を採用することにより、Mosesに比べて10倍速い翻訳が可能になりました。 本ソフトウェアには、以下のような特徴があります。 Khafraの特徴 Mosesと互換 Mosesで学習したモデルを利用 フレーズ翻訳モデル リオーダリングモデル(Lexicalized Block Orientationモデル) 現在は、LBOモデルとしてmsd-bidirectional-feのみに対応 N-gram言語モデル Mosesで使用できる基本的なオプションを実装 DPビームサーチ[Zens
latticelm
日本語 This is the page for latticelm, a tool for Bayesian non-parametric word segmentation and language model learning using Pitman-Yor language models. The major point of the toolkit is that it is applicable to not only regular text, but also lattices. The motivation for the tool was research into the possibilities of learning language models from continuous speech, presented in the following paper
SRI International's STAR Laboratory
SRILM - The SRI Language Modeling Toolkit SRILM is a toolkit for building and applying statistical language models (LMs), primarily for use in speech recognition, statistical tagging and segmentation, and machine translation. It has been under development in the SRI Speech Technology and Research Laboratory since 1995. The toolkit has also greatly benefitted from its use and enhancements during th
Kyfd (the Kyoto Fst Decoder)
This is the Kyoto Fst Decoder (Kyfd), a general purpose beam-search decoder for weighted finite state transducers (WFSTs). It has been used for a number of applications including statistical machine translation, speaking style transformation, OCR correction, grapheme-to-phoneme conversion, and speech segmentation. Download/Install Kyfd v. 0.0.5 The source repository can be found at github. Before
Micterの単語分割部の高速化を試してみた結果 - sileのブログ
tkngさんが作成したMicterという単語分割器の分割部を高速化できるような気がしたので試してみた。 そのメモ。 試した結果のソース一式はmimicという名前でgithubに保存しておくことにする*1。 結果 まず、結果から*2。 # 分割対象のテキスト(のサイズ) $ ls -lh /tmp/test.data -rw-r--r-- 1 user user 41M 2010-07-05 22:48 /tmp/test.data # MeCab $ time mecab -Owakati /tmp/test.data > /dev/null real 0m10.843s # 10秒 user 0m10.777s sys 0m0.068s # Micter $ ls -lh micter.model -rw-r--r-- 1 user user 1.8M 2010-07-06 08:30
J.DepP - C++ implementation of Japanese Dependency Parsers
About J.DepP is a C++ implementation of Japanese dependency parsing algorithms [1,2,3,4]. It takes a raw sentence as input and performs word segmentation, POS tagging (thanks to MeCab), bunsetsu chunking and dependency parsing. Syntactic parsers have been believed to be (significantly) slower than front-end part-of-speech taggers, and it is rarely utilized in industry that needs to handle massive
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TurboParser