研究開発:形態素解析しない特徴語抽出 - livedoor Blog（ブログ）
zipf則が成り立つ普遍的なコーパスから外れて頻度が高い語を「そのコーパスにおける」特徴語とします。 語の共起の統計情報に基づく文書からのキーワード抽出アルゴリズム 松尾豊 石塚満 東京大学大学院 人工知能学会誌 17(3), 2002 頻出語単独での生起確率（表1）を理論確率pg(g ∈ G)とし， 語 w と頻出語群 G の共起の総数を nw，語 w と語 g ∈ G の共起頻度を freq(w,g) とすると，統計量 χ2は以下の式で与えられる． χ2(w) ＞ χ2αであれば、帰無仮説が有意水準α... > このページを見る
はてなブックマーク
