NLTK Bookで教師なし形態素解析 - nokunoの日記
意外と知られていないようなので、NLTK BookのSegmentationの節にある教師なし形態素解析（単語分割）について紹介してみます。 この手法では、テキストを「単語の辞書」と「単語IDの列」で表したときにその合計サイズが最小になるように単語分割の位置を最適化します。言い換えれば、単語の出現確率に一様分布を仮定して圧縮したときに、その圧縮効率を最大とするように単語を分割します。持橋さんの研究よりはるかに単純なモデルですが、原理としては近いものになります。最適化にはシミュレーテッドアニーリング（焼きなまし法）を使っていて、適当に初期化してからランダムに単語分割位置を変えて、評価関数にかけて良い結果になったら採用する、という操作を繰り返し行うものです。 NLTK Bookでは、英語のテキストからスペースを取り除いたものを用いて単語を抽出しています。これはかなり恣意的に選ばれたテキストで、
NLTK :: Natural Language Toolkit
Natural Language Toolkit¶ NLTK is a leading platform for building Python programs to work with human language data. It provides easy-to-use interfaces to over 50 corpora and lexical resources such as WordNet, along with a suite of text processing libraries for classification, tokenization, stemming, tagging, parsing, and semantic reasoning, wrappers for industrial-strength NLP libraries, and an ac
MeCab：YOSHINO Weblog/吉野ブログ
このブログは吉野孝の雑文が書き散らされています．割とプライベートの話が多いです．内容についての責任はとれません．．． 日本語の形態素解析のために，いつもMeCabを使っている． 実は，参考文献にあげるときにいつも困っていた． というのは，MeCabに関する論文が一体どれなのかが分からない． 仕方ないのでMaCabのホームページURLを載せていたけど， いつも，URLじゃいかんよな〜って思っていました． 開発者は奈良先端大のTaku Kudo（工藤 拓）さんなのだけど， Publication List（http://chasen.org/~taku/）を見ても， どれがMeCabに関係しているのかが分からない （いくつか関係しているのかもしれないけど）． というのは，MeCabという名前が論文のどこにもでてこないため． MeCabを利用している論文は結構あるので， やっぱり，URLを参考文
ノンパラベイズを勉強してみる (0) - nokunoの日記
昨日のNL190で以前より日記を拝見させていただいていた持橋さんの発表「ベイズ階層言語モデルによる教師なし形態素解析」がありました。辞書なしで文字単位のテキスト（コーパス）処理をして、情報理論的な基準で形態素解析（というか単語分割）を行うというもので、理論的にもよく考えられているようです。言語の文字列を階層Pitman-Yor過程による文字-単語階層nグラムモデルの出力とみなし, ベイズ学習を行うことで, 教師データや辞書を一切用いない形態素解析を可能にする。これにより, 教師データの存在しない古文や話し言葉,口語体などの形態素解析と言語モデルの作成が可能になる。発表は分かりやすく、結果はかな漢字変換にも応用が効きそうなもので、大変刺激を受けました。理論的な面については付け焼刃でなんとかなるようなものではなさそうなので、持橋さんのサイトで公開されている論文を読みながら勉強してみようと思いま
形態素解析もどきを改良してみた
形態素解析もどきを改良してみた 「JavaScript で形態素解析もどき」を少し改良してみました。今までは漢字、ひらがな、カタカナ、英数字、記号などで分けていただけなので、 「今日はいい天気でした。」 という文章を解析すると 「今日｜はいい｜天気｜でした｜。」 となって、「はいい」などと変な区切りができたりしていました。 そこで、助詞で区切ってから、その後で漢字、ひらがな、などで分けるようしてみました。そうすると 「今日｜は｜いい｜天気｜で｜した｜。」 という感じで分けることができます。 ただ、 「とても大きい」 という文章だと 「と｜て｜も｜大｜きい」 となってしまったりで、問題もありますが。 JavaScript のソースはこんな感じです。 function SimpleAnalyzer() { this.re = new RegExp; this.re.compile("[一-龠々
はじめてのいーえむあるごりずむ - Seeking for my unique color.
EMアルゴリズムとは今日の自然言語処理特論の内容はEMアルゴリズム。N-gram言語モデルを作るときには、未知語に関連して0頻度問題がつきまとう。TrigramからBigram、BigramからUnigramと切り替えていくback-offなどの方法もあるが、今日やったのは線形補完法というもの。切り替えるのではなく、「この単語列はTrigramから何%、Bigramから何%」という具合にモデルに確率を割り振っていくというような方法である。もちろん、「この単語列はTrigramからきたもの」というようなラベルはついていない。こういうものを隠れ変数と呼んだりする。このような状況で尤度関数を(局所的には)最大にしてパラメータを推定するような方法をEMアルゴリズムという。 EMアルゴリズムはその名前の通りExpectationをMaximazationするアルゴリズム。何のExpectationか
[を] MECAPI で JSONP 出力対応
MECAPI で JSONP 出力対応 2006-09-23-1 [MECAPI][NLP] Web 経由で MeCab を使うための API である MECAPI (http://mimitako.net/api/mecapi.cgi)で、JSONP出力対応しました。 callback というパラメタでコールバック関数を指定する仕様。 これによってドメインが違ってもクライアント側 JavaScript から MECAPI (JSON) を呼び出して使えます。 サンプルを下記に置いておきます。 昨日のやつ[2006-09-22-4]をちょこっと改造しただけです。 - MECAPIのJSON出力で形態素解析 http://chalow.net/misc/mecapi.html 参考： - [鏡] 入門 JSON 3 -- JSONP とコールバック関数 -- 戯れ言++
Statistical Language Modeling Toolkit
Statistical Language Modeling Toolkit The CMU-Cambridge Statistical Language Modeling toolkit is a suite of UNIX software tools to facilitate the construction and testing of statistical language models. Version 1 was written by Roni Rosenfeld at Carnegie Mellon University. The toolkit has now been rewritten by Philip Clarkson and Roni Rosenfeld, and now provides increased functionality and efficie
Palmkit - a statistical language modeling toolkit
Palmkit Homepage Palmkit (Publicly Available Language Modeling Toolkit)は、n-gram言語モデルが簡単に作成できるツールキットです。 What's New 最新版は 1.0.32 です． メーリングリストを作りました．ユーザの方はお気軽に登録を． 参加方法はこちらを ごらんください． 特徴 CMU-Cambridge Statistical Language Modeling Toolkit とコマンドレベルで互換。 クラスn-gramのサポート。（単語クラスタリング機能は含まれていません） 組み合わせ言語モデルのサポート。 動作環境 Linux, FreeBSD 等UNIX互換環境 ダウンロード 最新版：version 1.0.32 (tar.gz形式） 更新履歴はこちら ． ドキュメント HTML版はここ からどう
形態素解析と検索APIとTF-IDFでキーワード抽出
形態素解析と検索APIとTF-IDFでキーワード抽出 2005-10-12-1 [Programming][Algorithm] 形態素解析器と Yahoo! Web 検索 API と TF-IDF を使ってキーワード抽 出するという先日の検索会議でのデモ、KEYAPI[2005-09-30-3]。 教科書に載っているような基本中の基本ですが、あらためてエッセンスを 簡単な例で解説したいと思います。 目的：キーワード抽出対象テキストから、そのテキストを代表する キーワードを抽出します。TF-IDF という指標を用います。（この値が大 きいほどその単語が代表キーワードっぽいということでよろしく。） TF-IDF を計算するためには、 (1) キーワード抽出対象テキスト中の代表キーワード候補出現数 (TF)、 (2) 全てのドキュメント数 (N)、 (3) 代表キーワード候補が含まれるドキュメ
日本語 WordNet (wn-ja)
日本語 WordNet リリース * 画像 * ダウンロード * 今後の予定 * 参考文献 * リンク * English 本プロジェクトでは、 Princeton WordNet や Global WordNet Gridに 着想をえて、日本語のワードネットを構築し、オープンで公開します。 独立行政法人情報通信研究機構（NICT）では、自然言語処理研究をサポー ト する一環として、2006年に日本語ワードネットの開発を開始しました。最初の 版、version 0.9は、2009年2月にリリースされました。このversion 0.9は、 Princeton WordNetのsynsetに対応して日本語をつけています。もちろん、 Princeton WordNetにはない日本語synsetを付与する必要があり、また、 Princeton WordNetにみられるsynsetの階層構造に、
大規模データを基にした自然言語処理 - DO++
人工知能基本問題研究会 (SIG-FPAI)でタイトルの題目で一時間ほど話してきました。 発表資料 [pptx] [pdf] 話した内容は - 自然言語処理における特徴ベクトルの作り方と、性質 - オンライン学習, Perceptron, Passive Agressive (PA), Confidence Weighted Learning (CW) 確率的勾配降下法 (SGD) - L1正則化, FOLOS - 索引を用いた効率化, 全ての部分文字列を利用した文書分類 で、スライドで70枚ぐらい。今までの発表とかぶっていないのはPA CW SGD FOLOSあたりでしょうか オンライン学習、L1正則化の話がメインになっていて、その両方の最終形の 確率的勾配降下法 + FOLOSの組み合わせは任意の損失関数に対してL1/L2正則化をかけながらオンライン学習をとても簡単にできるという一昔前
きまぐれ日記: TinySegmenter: Javascriptだけで分かち書き
最近新幹線に乗る機会が多々あったので、暇つぶしに Javascriptだけで(Ajax等は使わずに) 分かち書きが出来るソフトウェアを作ってみました。実用性は謎です。 http://chasen.org/~taku/software/TinySegmenter/ たった 25kbyte ですが、新聞記事でしたら、95%程度の精度で分かち書きができます。 辞書は全く持たず、文字単位で分割するか分割しないかを当てる機械学習器を 作って分割しています。 モデルをコンパクトにするために、L1ノルム正則化の トリックを使っているのですが、想像以上にコンパクトになって、しかも そこそこうまくいっていて、刺激的です。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://chasen.org/~daiti-m/paper/susemi200711language.pdf
ノンパラメトリックベイズモデル
http://www2.chasen.org/~taku/publications/nl148.pdf
http://www.chasen.org/~daiti-m/paper/susemi200711language.pdf