自然言語処理ツール
自然言語処理の研究で役立つツールを集めてみました。 音声認識CMU Sphinx: 広く利用されている音声認識プログラム。 Juicer: 重み付き有限状態トランスデューサを利用した音声認識デコーダ。 Julius: 音声認識システムの開発・研究のためのオープンソースの高性能な汎用大語彙連続音声認識エンジン。 言語モデルIRSTLM: 言語モデルの学習・格納ツール。 kenlm: メモリ効率とスピードを重視した言語モデル保持ツール。 Kylm: 重み付き有限状態トランスデューサーの出力や未知語の文字ベースモデル化などの機能が揃っている言語モデルツールキット。Javaで実装。 RandLM: 乱択データ構造であるBloom Filterを用いることで、膨大な言語モデルを少ないメモリで保持するツールキット。 SRILM: 効率的なn-gram言語モデルツールキット。様々な平滑化手法（Knese
nokunoの日記
引き続き東大の「創造情報学連携講義VII」より賀沢さんの課題1でもある、IBMモデル1の実装を行いました。創造情報学連携講座IBMモデル1のEMアルゴリズムを実装してサンプルデータで結果を確認せよという問題です。 #!/usr/bin/env python from collections import defaultdict def train(corpus): pair = defaultdict(float) for english, forein in corpus: for e in english.split(" "): for f in forein.split(" "): pair[(e,f)] += 1. print 'pair:', pair t = defaultdict(float) for e,f in pair.keys(): t[(e,f)] = 0.25 f
Node.js でテキスト解析 - WebService::Blog->new( user => ’hide_o_55’ )
Hachioji.pm #13 で話した、京都テキスト解析ツールキット - KyTeaを Node.js から利用する C++ Addon をドキュメントを整理したうえでGithubに上げました。 GitHub - hideo55/node-kytea: Node.js binding of KyTea KyTeaとは？ テキストの単語分割(分かち書き)、品詞推定、読み推定を行うことができるテキスト解析ツールです。類似のツールではMeCabが有名ですね。MeCabとKyTeaの違い等はKyTea v.s. MeCab - 形態素解析における点予測対系列ラベリング，または品詞の要不要など - Togetterが参考になると思います。 使い方 //Addonを読み込み var KyTea = require('kytea').KyTea; var path = '/path/to/model'
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
