[B! 形態素解析] ura_raのブックマーク

ura_ra id:ura_ra

形態素解析に関するura_raのブックマーク (3)

日本語形態素解析の初歩 - あらびき日記
この記事は abicky.net の日本語形態素解析の初歩に移行しました
ura_ra 2014/03/27
NLP

mecab

形態素解析
リンク
生きたことばをモデル化する統計科学の研究：研究室訪問：統計数理研究所
「いづれの御時にか、女御更衣あまたさぶらひける中にいとやむごとなき際にはあらぬが、すぐれてときめきたまふありけり」で始まる『源氏物語』。平安時代中期（11世紀）に成立した宮廷の恋愛物語は、世界最古の長編小説として有名だが、江戸時代の人々にすら極めて難解なことばの集合で、多くの注釈書が発刊されていた。ことばは時代と共に変化し、それを正しく理解することは失われた意味を復元する作業にも似る。冒頭にかかげた源氏の一節も、教えてくれる人がいなければ、それぞれの単語がどこで切れるのかすら判然としない。言語を確率論的にとらえ、計算式によって解析（処理）するなら現代語も古典も、未知の言語すらも容易に理解できるようになる――このように考えて「計算言語学」の旗をかかげる統計科学者がいる。言語の差異構造を統計的に理解する持橋の専門分野は、「統計的自然言語処理」と「統計的機械学習」。それは簡単に表現するな
ura_ra 2014/02/27
形態素解析

NLP

統計学
リンク
Rubyで形態素解析してみた - unnecessary words
昨日の晩あたりから、形態素解析したい気分だったのでやってみました。形態素解析というのは以下のようなもの。対象言語の文法の知識（文法のルールの集まり）や辞書（品詞等の情報付きの単語リスト）を情報源として用い、自然言語で書かれた文を形態素（Morpheme, おおまかにいえば、言語で意味を持つ最小単位）の列に分割し、それぞれの品詞を判別する作業を指す。形態素解析 - Wikipedia 圧縮新聞にも使われているそうです。「圧縮新聞」を作った - phaの日記今回は、MeCab(和布蕪)という形態素解析エンジン利用させて頂きました。 Ubuntu環境で実験しましたが、大抵同じような作業で動くと思います。文字コードの指定のみ適時読み替えてください。ファイルの取得 MeCab本体(mecab-0.97.tar.gz)、辞書ファイル(mecab-ipadic-2.7.0-20070801.
ura_ra 2012/05/25
Ruby

形態素解析

mecab
リンク
1