突然ですが，mecabの辞書 (mecab-ipadic) をデフォルトのまま使って，mecab意外と使えねぇとか文句言ってる悪い子はおらんかね？ mecab-ipadic は比較的お行儀のよい日本語をベースに作られているので，そのままでは web上の口語文体のテキストはうまく扱えないことがあります。本来は教師データを用意し，学習させるといった手法を使うのが正攻法だと思いますが，とりあえず名詞を充実させるだけでも実用度はだいぶ上がるでしょう。 人間の話す言語には，動詞の語幹や名詞には日々新しく語彙が増えるけど，助詞や活用のルールは簡単には変化しない，という特性があります。特に「いま最もつぶやかれている単語ランキング」といった集計をするような場合は，名詞の範囲の切り出しさえ間違えなければそれなりの結果を出せることも多いのです。 ただ，辞書への単語追加はここにある通り簡単にできるのですが，単語

日本語形態素解析システム JUMAN † 本システムは，計算機による日本語の解析の研究を目指す多くの研究者に共通に使える形態素解析ツールを提供するために開発されました．その際, 学校文法が計算機向きではないという問題を考慮し，使用者によって文法の定義，単語間の接続関係の定義などを容易に変更できるように配慮しました． 新バージョン7.0の拡張点は以下の通りです． 非反復形オノマトペ，長音記号による非標準表記，長音記号・小書き文字を用いた長音化の自動認識 Wikipediaから抽出した辞書の追加 自動辞書(Webテキストから自動獲得した辞書)の改良 UTF-8化 たとえば，次のようなテキストを入力すると， % cat sample.txt カサつく ビミョーだ がんがる アジャイルだ 爽健美茶 ＴｈｉｎｋＰａｄ 上海ガニ ぺっちゃりしてる ありがとー 行きたぁぁぁい 以下の解析結果が得られます

Atlassian Sourcetree is a free Git and Mercurial client for Windows. Atlassian Sourcetree is a free Git and Mercurial client for Mac.

形態素解析器としてMeCab（ラティス上の系列予測）とKyTea（点予測）を利用する（モデルはチューニングしていないので、チューニングをしたら両方とも少し精度があがる）。この二つの形態素解析器で以下のような分野適応戦略を比較する： 適応無し：一般分野のテキストと辞書を利用する。 辞書追加（再学習なし）：Webコーパスにある単語を辞書追加し、MeCabの単語追加ページの指示に従ってそのコストを似たような単語（頻度の低い名詞）と一緒にする。（MeCabのみ） 辞書追加（再学習あり）：辞書に単語を追加し、もう１回一般分野コーパスでモデルの重みを学習。 コーパス追加：一般分野＋Webコーパスで辞書を作り、モデル学習を行う。 実験結果 実験は以下のような結果になった。

奈良先端科学技術大学院大学の提供する茶筌 (ChaSen) には、バッファオーバーフローの脆弱性が存在します。 茶筌 (ChaSen) version 2.4.4 およびそれ以前茶筌 (ChaSen) version 2.3.3 およびそれ以前上記バージョンの茶筌 (ChaSen) を組み込んでいるソフトウェアが本脆弱性の影響を受けます。 奈良先端科学技術大学院大学の提供する茶筌 (ChaSen) は、日本語の形態素解析をするためのソフトウェアです。茶筌 (ChaSen) には、文字列の読み込みに問題があり、バッファオーバーフローの脆弱性が存在します。 なお、茶筌 (ChaSen) は一時的に開発が停止していましたが、2011年12月8日より、ChaSen legacy プロジェクトによって開発が再開されました。

Introduction CNP is a highly accurate dependency parser for Chinese. This package includes: Modifications of the MSTParser (http://sourceforge.net/projects/mstparser), such as: support for Carreras et al. (2007)'s higher-order decoding support for subtree features described in Chen et al. (2009) Especially, CNP has the following features: High accuracy due to the use of the features based on subtr

Code Archive Skip to content Google About Google Privacy Terms

About Kuromoji Kuromoji is an open source Japanese morphological analyzer written in Java. Kuromoji has been donated to the Apache Software Foundation and provides the Japanese language support in Apache Lucene and Apache Solr 3.6 and 4.0 releases, but it can also be used separately. Downloading Download Apache Lucene or Apache Solr if you want to use Kuromoji with Lucene or Solr. See below for so