第8回自然言語処理勉強会＠東京を開催しました #TokyoNLP - nokunoの日記
はい，本日は勤労に感謝しつつ第8回自然言語処理勉強会＠東京を開催しました．場所はVOYAGE GROUP（旧ECナビ）で，懇親会もお世話になりました，@ajiyoshiさんいつもありがとうございます！第8回自然言語処理勉強会 #TokyoNLP : ATND トピックモデルとその周辺の話題 by @issei_sato さん Topic models with power-law using Pitman-Yor process 自己紹介 東大で助教やってます（どよめき） 今回は KDD 2010 の発表 LDAの復習 単語シンプレックス LDAのサブシンプレックス グラフィカルモデル α->θ_j->z_ji->w_ji β->φ_i G_j(φ): ??_k θ_jk δ(φ - φ_k) ノンパラメトリックベイジアンへ LDAはトピック数Kを事前に決める必要がある トピック数を決めた
【事務作業に便利】形態素解析かけてから、macのターミナルでコマンド打って、重複した単語（キーワード）を抜きだして重複してる数字と共に表示する方法 - どんぐり日記β
＜自分メモ＞ 例えば、こういう状況の時に役立ちます。 とある文章の中で、もっともよく使われている単語（キーワード）は何か、どれくらい重複しているかという数字と共に知りたい。 そんな時は、こちらの方法で重複した単語を抜き出して、数字と共に表示することができます。 ・生の文章（テキスト）を、このサイトで形態素解析かける http://www.oasob.com/tools/mecab/ ・結果が表示されたら、ページのソースの中から該当する部分をひとつのファイルにコピペ ・そのファイルをデスクトップへ置く ・ターミナル開く ・コマンド打ってデスクトップへ cd Desktop/ ・下記の「filename」のとこに対象のファイル名を書いて、ターミナルにコピペ。Enter押す。 cat filename |perl -e 'my %pat;while(<>){next if m/^\s/;my @
可変次数 N-gram デコードのアルゴリズム - アスペ日記
前に書いた N-gram 漢字-かな変換 - アスペ日記 のアルゴリズムについて。 かなり縦に長いエントリになると思う。途中までは一般的な日本語自然言語処理にかかわること。 例として、「かれがくるまでまつ」というひらがなの文をデコードして、対応する漢字かな混じり文にすることを考える。 こういう時に使われるのが「ラティス構造」。こういうやつ↓ （この図は一回しか出てきません。ちなみにこのために Keynote 買ったようなもの） それぞれのノードで、そこに入ってくるエッジの中で一番確率が高いものとその確率を覚えていくことで、動的計画法によって最適なパスを導くことができる。 これをプログラム上でどう実現するか。 まず、共通接頭辞検索というものを使う。 これは、あるキーを渡すと、そのキーに前から一致するようなキーを持つ候補を列挙してくれるというもの。 例えば、「くるまで」をキーとして使うと、「く
Yahooデベロッパーネットワーク「日本語形態素解析API」が凄いという話。 » とりあえず9JP
Yahooデベロッパーネットワークの、日本語形態素解析APIが結構使えそうだったので紹介してみる。 文章を投げるだけで、品詞毎に分解し、更に読み仮名なども返してくれる。 YahooIDを持っていれば、アプリケーションIDを登録するだけで利用可能となる。 アプリケーションID一つにつき50000リクエスト/日 が上限という制限があるものの、色々制限の多い、余所のAPIと比較すれば結構寛容な気がする。 というわけで、早速試してみる。 お試し用にPHPで以下のように書いてみた。 $appId = 'アプリケーションID'; $sentence = '初めまして。僕の名前はバフ。 Yahooデベロッパーネットワークの構文解析を使ってみるよ。これはテストの文章だよ。'; $queryArr = array( 'appid' => $appId, 'sentence' => $sentence );
形態素解析の茶筅
ChaSen -- 形態素解析器 はじめに 形態素解析器とは、入力文を単語単位に分割し品詞を付与するツールである。 新着情報 2011-11-16 (wed) See JPCERT Report. 茶筌の配布 ダウンロード あらかじめ iconvと Darts-0.31のインストールが必要です。 chasen-2.3.3 辞書は別配布になっています。 ipadic-2.7.0 日本語辞書 UniDic 日本語辞書 NAIST-Japanese-dic 日本語辞書（奈良先端大より公開予定） NAIST-Chinese-dic 中国語語辞書（奈良先端大より公開予定） 著作権および仕様条件について 茶筌システムは，広く自然言語処理研究に資するため無償のソフトウェアとして開発されたものである．茶筌の著作権は，奈良先端科学技術大学院大学情報科学研究科自然言語処理学講座(松本研究室)が保持する．本ソフ
MeCab: Yet Another Part-of-Speech and Morphological Analyzer(形態素解析エンジン)
MeCab に至るまでの形態素解析器開発の歴史等はこちらをご覧ください メーリングリスト 一般ユーザ向けメーリングリスト 開発者向けメーリングリスト 新着情報 2008-02-03 MeCab 0.97 マルチスレッド環境で辞書を開くときの排他制御がうまくいっていなかったバグの修正 Windows版でインストール時に辞書の文字コードを指定できるようになった 一部のコンパイラで正しくコンパイルできなかった問題の修正 部分解析モードを変更するAPI の追加 (Tagger::set_partial()) ラティスの生成レベルを変更するAPI の追加 (Tagger::set_lattice_level()) 温度パラメータを変更するAPIの追加 (Tagger::set_theta()) 全候補出力モードを変更するAPIの追加 (Tagger::set_all_morphs()) 2007-
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.chasen.org/~taku/publications/mecab-sigkbs-20070115.pdf