English latticelmはノンパラメトリックベイズ法に基づくPitman-Yor言語モデルを用いた単語分割と言語モデルの教師なし学習ツールです。 ツールの特徴は、通常のテキストだけではなく、ラティスからも学習できることです。 ラティスから言語モデルを学習することによって、連続音声など、入力にノイズが存在する場合でもよりロバストに言語モデルが学習できます。 詳しくは以下の論文をご参照ください。 Graham Neubig, Masato Mimura, Shinsuke Mori, Tatsuya Kawahara Learning a Language Model from Continuous Speech In Proceedings of InterSpeech 2010 Graham Neubig, 三村 正人, 森 信介, 河原 達也 ベイズ推論を用いた連続音声からの言
1 Graham Neubig - 機械翻訳 機械翻訳 Graham Neubig 奈良先端科学技術大学院大学 (NAIST) 2013 年 1 月 17 日 2 Graham Neubig - 機械翻訳 機械翻訳 ● 原言語から目的言語へと自動的に翻訳 太郎が花子を 訪問した。 原言語 Taro visited Hanako. 目的言語 ● 近年に著しい発展と実用化 3 Graham Neubig - 機械翻訳 機械翻訳の仕組み Today I will give a lecture on machine translation . 4 Graham Neubig - 機械翻訳 機械翻訳の仕組み ● 文を翻訳可能なパターンに区切り、並べ替え Today I will give a lecture on machine translation . Today 今日は、 I will gi
日本語バランス文トップへ これは日本語の代表的な表現を含む1000文です。最初の111文だけで、日本語Wikipediaのテキストに現れる代表的なn-gram(n=1-4、1-4単語からなる短い単語列)の50%をカバーします。 それだけのことではありませんか。 しなくてもいい、というものではないと思います。 地下鉄システムの整備によってこれらの問題が解決することが期待されている。 開拓地を開いていくためには、労働力が必要だった。 国立感染症研究所「重症急性呼吸器症候群(SARS) に関する情報」 皆様のご意見をお待ちしております。 どちらが先に手を出したのかはわからない。 ヨハネ・パウロ2世 間違いは誰にでもあるのですから。 だから、なかなか覚えられないんだ。 また建築全体の形状が翼を広げた鳥の姿を思わせることから,江戸時代以降鳳凰堂の名で呼ばれるようになった。 九月十一日 ここで質問なの
One popular method for estimating statistical models is sampling, and in particular Gibbs sampling. As I’ve written before, sampling is based on randomness, which makes it somewhat difficult to debug. On the other hand, one popular way to ensure the quality of code is through arrays of unit tests, which are designed to test your code at a very fine-grained level (e.g. one test for each function in
形態素解析器としてMeCab(ラティス上の系列予測)とKyTea(点予測)を利用する(モデルはチューニングしていないので、チューニングをしたら両方とも少し精度があがる)。この二つの形態素解析器で以下のような分野適応戦略を比較する: 適応無し:一般分野のテキストと辞書を利用する。 辞書追加(再学習なし):Webコーパスにある単語を辞書追加し、MeCabの単語追加ページの指示に従ってそのコストを似たような単語(頻度の低い名詞)と一緒にする。(MeCabのみ) 辞書追加(再学習あり):辞書に単語を追加し、もう1回一般分野コーパスでモデルの重みを学習。 コーパス追加:一般分野+Webコーパスで辞書を作り、モデル学習を行う。 実験結果 実験は以下のような結果になった。
学校での講義 Fall 2024: Advanced NLP (CS11-711 @ CMU) Fall 2022: Advanced NLP (CS11-711 @ CMU) Spring 2022: Multilingual NLP (CS11-737 @ CMU) Fall 2021: Advanced NLP (CS11-711 @ CMU) Spring 2021: Neural Networks for NLP (CS11-747 @ CMU) Fall 2020: Multilingual NLP (CS11-737 @ CMU) Spring 2020: Neural Networks for NLP (CS11-747 @ CMU) Fall 2019: Machine Translation and Sequence-to-sequence Models (CS11-7
by Graham Neubig English prontronは日本語の未知語発音推定プログラムです。構造化パーセプトロンを日本語の発音推定に使えるのではないかと思って作ってみました。もし興味があったら使ってみてください。 ダウンロード 使い方 仕組み 精度 開発・TODO ダウンロード 最新版: prontron 0.1 開発版: @github 過去のバージョン: まだ prontronはCommon Public License v 1.0に従ってダウンロード、再配布できます。 使い方 発音推定 modelディレクトリの中のモデルを利用して発音を推定することができます。1行1単語の入力ファイルinput.txtを用意して、以下のコマンドを実行します: $ prontron.pl model/model.dict model/model.feat < input.txt > out
I was wondering what papers had the most influence on the field of computational linguistics and natural language processing, so I tried making a list of the most cited papers from the annual meeting of the ACL (Association for Computational Linguistics) for the past twenty years. All citation counts are from Google scholar as of today, so take them with a grain of salt, but here goes: 1990: Steed
Machine Translation, Speech Recognition, Machine Learning, and the like. Recently Bayesian methods (particularly non-parametric Bayesian methods) have been widely used in unsupervised learning for NLP, as they provide a principled way to balance model complexity and expressiveness. There are two major techniques for learning Bayesian models: Variational Bayes (VB), and Gibbs Sampling. For more det
English dirichlet-topic.plはあるテキストのジャンルを良く表す単語を見つけてくれるスクリプトです。スムージングは割とちゃんとしているので、stop wordを指定したり、低頻度の単語を削除したりする必要はありません。 Apache License Version 2.0に基づいて配布しており、個人・研究・営利用を問わずぜひ使ってください。面白かったり、何かに使ったらりしたら、このページへのリンクを貼っていただけたら幸いです。 ここからダウンロードできます:dirichlet-topic.pl Ver. 1.0 また、Wikipediaの「IT」・「スポーツ」・「国」に関する記事でテスト用のデータセットを作りました。 使い方 パッケージに3つのスクリプトが付いています: combine-counts.pl 2つ以上のファイルの単語頻度を数えて、1つの頻度付き辞書に組み
Machine Translation, Speech Recognition, Machine Learning, and the like. On twitter a little while ago, @mathieuen asked an interesting question about whether the fact that he was seeing support vector machines (SVM) get better precision than logistic regression (LR) was a result of the learning algorithm (specifically the hinge loss function). I answered off the top of my head that I thought that
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く