村田機械、音声認識用辞書生成プログラムをオープンソースに：CodeZine
村田機械は、音声認識ソフトを作る際に必要な辞書データを生成するプログラムをオープンソースにすると発表した。ライセンスはCPLで配布する。 今回公開されるのは、高性能音声認識ソフトウェアとして定評のある「Julius」をベースとした音声認識の実用化に不可欠なプログラム。具体的には、単語辞書データを生成するためのプログラム「vocab2htkdic.rb」がオープンソースになる。なお、「Julius」に関してはすでにオープンソース化されている。 「vocab2htkdic.rb」は、多言語データ対応を可能にし、最新のUNIX系OS環境でも使用できるプログラム。村田機械では、今回のオープンソース化により、さまざまな要望やバグ報告などの意見交換、活発な議論が生まれ、多くの研究者に利用されるプログラムになることを期待している。 村田機械：オープンソースソフトウエア「vocab2htkdic.
NTTデータが全文検索エンジン｢Ludia｣をオープンソースとして無償公開：ITpro
NTTデータは10月11日，同社が開発した全文検索エンジン｢Ludia｣をオープンソース・ソフトウエアとして無償公開した。オープンソースのDBMS PostgreSQLに格納されたテキスト・データの全文検索を行う。同社では「商用のデータベース管理ソフトに匹敵する速度と精度を備える」としている。 NTTデータでは「データベース内のデータの全文検索ではこれまで，オープンソース・ソフトウエアでは日本語に対応した高速・高精度なものが存在せず，データベースからデータを取り出し別のシステムを構築する必要があった。Ludiaは商用のデータベース管理ソフトに匹敵する速度と精度を備える」としている。 Ludiaは，N-gramと形態素解析の2種類の全文検索インデックス方式をサポートする。ブーリアン検索，近傍位置検索，類似文書検索といった検索が可能で，検索結果の合致度を示す｢スコア｣も提供する。 Ludiaは
Conditional Random Field (CRF) Documentation
The CRF package is implemented by Prof. Sunita Sarawagi. The official homepage for this package is http://crf.sourceforge.net/. This documentation explains the usage of the package at the application level. People interested in implementation level details have to view javadocs for the package and source code itself. Following are the topics covered: Overview Using CRF for Sequential Learning Vari
Conditional Random Fields(pdf)
Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data John Lafferty†∗ LAFFERTY@CS.CMU.EDU Andrew McCallum∗† MCCALLUM@WHIZBANG.COM Fernando Pereira∗‡ FPEREIRA@WHIZBANG.COM ∗ WhizBang! Labs–Research, 4616 Henry Street, Pittsburgh, PA 15213 USA † School of Computer Science, Carnegie Mellon University, Pittsburgh, PA 15213 USA ‡ Department of Computer and Informati
Conditional random field - Wikipedia
Conditional random fields (CRFs) are a class of statistical modeling methods often applied in pattern recognition and machine learning and used for structured prediction. Whereas a classifier predicts a label for a single sample without considering "neighbouring" samples, a CRF can take context into account. To do so, the predictions are modelled as a graphical model, which represents the presence
All Our N-gram are Belong to You
Posted by Alex Franz and Thorsten Brants, Google Machine Translation Team Here at Google Research we have been using word n-gram models for a variety of R&D projects, such as statistical machine translation, speech recognition, spelling correction, entity detection, information extraction, and others. While such models have usually been estimated from training corpora containing at most a few bill
mots quotidiens.
Guy Lebanon が, ACL/COLINGとほぼ同時期にやっていた UAI 2006 で, "Sequential Document Representations and Simplicial Curves" [PDF] というのを出しているようです。 これは, 文書をbag-of-wordsのように1つの多項分布(単体上の一点)で表現 するのではなく, 単体上の連続的な曲線(軌跡)として表現する, というもの。 具体的には, 文書のある時点 t での単語の出現(1/0)をスムージング係数 c で ラプラススムージングした分布を, smoothing kernel で畳み込むことで単語単体上に カーブを形成する。 *1 smoothing kernel というのは要するにハミング窓みたいなもので, 文書の長さを1に正規化して考えると, ベータ分布を使うのが一番自然で, 論文では裾
国産検索エンジンはなぜ必要なのか？--経産省担当者に聞く - CNET Japan
経済産業省は7月、国内の総合電機メーカーや大学など38団体とともに、国産の検索エンジンを開発する「情報大航海プロジェクト・コンソーシアム」を設立する。企業や大学がこれまで研究してきた検索技術やノウハウを持ち寄り、成果物はオープンソースとして広く公開する考えだ。 検索エンジンの分野では現在、Google、Yahoo!、Microsoftといった米国の大手企業が火花を散らしている。この分野で国が音頭を取って研究開発を進める狙いは何なのか。経済産業省 商務情報政策局 情報政策ユニット 情報経済企画調査官で、今回のプロジェクトを推進した立役者である八尋俊英氏に聞いた。 --情報大航海プロジェクト・コンソーシアムを結成した狙いはどこにあるのでしょう。 まず前提として、現在は情報がとにかく山のように沢山あり、その中から必要なものだけをうまく抽出して知識化する技術が求められているということがあります。こ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Expectation-Maximization as lower bound maximization
https://www.nii.ac.jp/hrd/HTML/Journal/pdf/06/06-01.pdf
Introduction: Latent Semantic Indexing
Getting to Know Apple Mail's Spam Filter - TidBITS