OpenNLP Toolsによる英語の品詞解析 - kaisehのブログ
英文校正サイト [NativeChecker] では、入力した英文の各単語の品詞表示を行っています。 この品詞解析処理には、自然言語処理プロジェクト群であるOpenNLP中のOpenNLP Toolsを使っています。 OpenNLP Toolsによる品詞分析について、Web上に日本語の資料があまり見当たらないので、以下に手順を書いてみようと思います。 1. OpenNLP Toolsのダウンロード 以下のOpenNLPのサイトから[Download]をクリックして、OpenNLP Toolsをダウンロードします。 redirect 2. モデルファイルのダウンロード 同サイトの[Models]から、モデルファイルをダウンロードします。品詞解析に必要になるのは、以下のディレクトリ中のtag.bin.gzとtagdictです。 http://opennlp.sourceforge.net/mo
[OpenNLP] 最大エントロピー法とパーセプトロンの分類器を使う - 株式会社ロンウイット
Apache OpenNLPとは？ Apache OpenNLP(以下OpenNLP)は、統計的自然言語処理（Statistical Natural Language Processing）のためのツールキットです。Javaで実装されたOSSの自然言語処理（NLP）ライブラリであり、2010年11月にApache Incubatorに寄贈され、2012年2月にApacheのトップレベルプロジェクト（TLP）に昇格しました。 自然言語処理と検索エンジンは技術的な関連が深いため、OpenNLPの知識があると、Solrの機能を改善したりパワーアップするのに大いに役立ちます。たとえばLUCENE-2899では、OpenNLPのトークナイザーをSolrから使うための改善提案が行われています。 OpenNLP関連記事の第一弾となる本稿では、OpenNLPの利用知識の入門として、OpenNLPに附属して
OpenNLP - MEM and Perceptron
2. OpenNLPの分類アルゴリ ズム opennlp.maxent 最大エントロピー法 多クラスロジスティック回帰 opennlp.perceptron パーセプトロン Copyright © 2012 RONDHUIT All rights reserved 3. 最大エントロピー法 問題解決 ゼロ頻度問題→スムージング パラメータ数の増大、訓練データの断片化 与えられた制約の下でエントロピーを最大化す るようなモデルを推定する 確率的言語モデルのパラメータ推定 訓練データ …………… …… …………… 標本 …… …………… 確率的言語モデルのエントロピーを最大化 Copyright © 2012 RONDHUIT All rights reserved 4. MEM: 英語-仏語翻訳の例 英単語"in"に対応する仏語の単語またはフレーズ の制約 p(dans)+p(en)+p(à
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
