自然言語処理ツールキットの「Apache OpenNLP 1.8.1」が公開 | OSDN Magazine

自然言語処理ツールキット「Apache OpenNLP」開発チームは7月8日、最新版「Apache OpenNLP 1.8.1」を公開した。 Apache OpenNLPは機械学習をベースとした自然言語処理ツールキット。トークン化、文分割、品詞タグ付け、固有表現抽出、チャンク化、パーシング、共参照解析などの機能を備える。 Apache OpenNLP 1.8.1は、5月に公開されたバージョン1.8のポイントリリース。新たに言語検出コンポーネントを導入した。UD（Universal Dependencies）コーパスの文検出とトークン化のトレーニング、評価テストでのISO-639-3言語コードのサポートなどが加わった。 性能や安定性に関連した強化も加わった。Data Indexer Code、BratNameSampleStreamなどのリファクタリングを進めたほか、N-Gram構築ループの