YamCha: Yet Another Multipurpose CHunk Annotator
$Id: index.html,v 1.37 2005/12/24 14:18:58 taku Exp $; Introduction YamCha is a generic, customizable, and open source text chunker oriented toward a lot of NLP tasks, such as POS tagging, Named Entity Recognition, base NP chunking, and Text Chunking. YamCha is using a state-of-the-art machine learning algorithm called Support Vector Machines (SVMs), first introduced by Vapnik in 1995. YamCha is e
テキストからWikipedia見出し語を抽出 - 人工知能に関する断創録
WindowsでMeCab Pythonを使う（2010/11/21）のつづきです。形態素解析を使ってると単語が変なところで切れていたり、未知語が多かったりと不満点が出てきます。また、応用によっては、形態素ではなく、複合語単位で抽出したいということもしばしばあります。たとえば、 人工知能は、コンピュータに人間と同様の知能を実現させようという試み、あるいはそのための一連の基礎技術をさす。 人工知能という名前は1956年にダートマス会議でジョン・マッカーシーにより命名された。 現在では、機械学習、自然言語処理、パターン認識などの研究分野がある。（Wikipedia『人工知能』を改変）という文章をMeCabで形態素解析して名詞のみ取り出すと、 人工 知能 コンピュータ 人間 同様 知能 実現 試み ため 一連 基礎 技術 人工 知能 名前 1956 年 ダート マス 会議 ジョン マッカーシー
Latent Dirichlet Allocations(LDA) の実装について - 木曜不足
昨日の "Latent Dirichlet Allocations in Python" の続きで実験結果を載せようかと思ったけど、先にやっぱりもうちょっと LDA を説明しておこう。 LDA の初出は [Blei+ 2003] Latent Dirichlet Allocation 。 ただし [Blei+ 2003] で "LDA" としているのはトピック-単語分布がただの多項分布(事前分布無し)のもの。"LDA" としてよく目にするトピック-単語多項分布にディリクレ事前分布が入ったものは "Smoothed LDA" として記載されている(確かにβでスムージングしているのと等価)。 今回実装した LDA も後者の "Smoothed LDA"。 その LDA はこんな感じ。αとβはハイパーパラメータだから、チビ黒丸で書いて欲しいんだけどね。 (図は Wikipedia-en の LD
LDA(Latent Dirichlet Allocation)のちょっとしたメモ - EchizenBlog-Zwei
変分ベイズの復習のためにLDAを再実装しようかと思っている。記憶の整理を兼ねて概要をメモしておく。一応初心者向けに書いたつもり。 Latent Dirichlet Allocation D.M.Blei et al LDAは文書集合Dに関する分布をモデリングしていて、αとβというふたつのパラメータを持っている。文書集合Dは個々の文書wで構成されている。つまり P(D;α,β) = ΠP(w;α,β)というかたち。ここで与えられた文書集合Dの尤度を最大化するようなパラメータを求めたい。 LDAは文書を構成する単語はいくつかのトピックに属していると考える。このトピックの種類は事前に与えてあげる必要がある。以下ではトピック数をkとしておく。 パラメータαはサイズkのベクトルでトピックのもともとの出やすさを表す。今回はすべてのトピックを等価に扱うことにする。つまり α = (1, 1, ...,
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - ealdent/lda-ruby: A Ruby wrapper for Latent Dirichlet Allocation (LDA).
LDA入門