R による文書分類入門
This document discusses analyzing text data from Japanese language transcripts of talks in R. It shows tokenizing the Japanese text into words using the MeCab library and creating bigram features by grouping the tokenized words into pairs. Some key steps include: 1. Tokenizing the Japanese transcripts into words and part-of-speech tags using RMeCabDF(). 2. Creating a tokens dataframe with title, w
最大エントロピー法、主観主義統計力学
院生のK藤くんが実験データを得られなかった領域に確率をどのように割り当てたらいいのかと聞いてきたため、最大エントロピー法というのを使えばいいのだと考えていろいろ調べていたのだが、そこから統計力学と情報理論の間をつなぐ文献をいくつか見つけて興味深かった。 最大エントロピー法というのは拘束条件が少ないため確率を一意に決定できない場合、全体のエントロピーが最大になるように割り当てを行えばよいという考え方。たとえば事象A,B,Cがあり、Aの起きる確率が1/2ということは分かっているが、残りの二つの起きる確率は分からない場合、BとCに1/4ずつの確率を割り当てるのが直感的にもっともらしいように感じられるが、これは実際エントロピーを最大化する割り当てになる。エントロピーは不確かさの指標であるので、与えられた情報が少ない時は余計な仮説を立てず、もっとも曖昧な推測をしておこうということ。等確率の原理と似て
HMM, MEMM, CRF メモ
2010-06-21にhandsOutにアップした資料の明らかな間違いを修正した資料です。Read less
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
