トピックモデル（LDA）で初学者に分かりづらいポイントについての解説 - Taste of Tech Topics
こんにちは。 信号処理で使っていた数学の知識を生かして、 機械学習関連の仕事をしている２年目の@maron8676です。 こちらは機械学習と数学 Advent Calendarの11日目の記事となります。 qiita.com トピックモデルの学習で初学者に分かりづらいポイントについての解説をしていきます。 機械学習における数学の重要性 機械学習を利用してアプリケーションを作る際に、数学の知識は重要です。 機械学習の便利なライブラリは多くリリースされていますが、適切に使用するにはパラメータチューニングが必要だったり、 最新の手法を動かしたい場合は自分で数式を読んで理解し、開発しないといけません。 というわけなので、数学は大事です。機械学習でアプリケーションを作るみなさん数学を勉強しましょう。 トピックモデル トピックモデルとは何か トピックモデルは潜在的意味を推定するためのモデルです。 トピ
トピックモデルで単語の分散表現 - 理論編 - LAPRAS AI LAB
こんにちは。代表の島田です。 最近はDeepLearningがホットなキーワードになっていますが、トピックモデルという自然言語処理における手法も、少し前に注目を集めました。聞いたことはあるけど何なのかわからない、という方のために、今回はトピックモデルに関して説明します。 Pythonなどの言語ではライブラリが利用できますが、トピックモデルなどの原理を知っておくことでパラメータチューニングが思いのままにできるようになります。 LDAやトピックモデルについては最新の技術！というわけではないので他にも解説記事があると思いますが、今回は「流行りの単語がとりあえず何なのか知る」ということを目的に、前半は機械学習エンジニアではない方にもわかりやすく解説しようと思います。 モチベーション 単語をベクトルで表したい！ 自然言語データを使ったレコメンドエンジンの構築やテキストの分類などで、単語をクラスタリン
PowerPoint プレゼンテーション
Nara Institute of Science and Technology Augmented Human Communication Laboratory ビッグデータのための機械学習 2015/10/23 ビッグデータアナリティクス 第３回 1 奈良先端科学技術大学院大学 吉野 幸一郎 NAIST AHC Lab. • 機械学習の基礎 – 教師あり学習、教師なし学習 – 事前確率、事後確率 – 最尤推定、MAP推定、ベイズ推定 – 単純ベイズ、ロジスティック回帰、条件付き確率場、 サポートベクターマシン、ニューラルネット、深層学習 • 機械学習における分散処理 • Apache Spark での機械学習 2015/10/23 ビッグデータアナリティクス 第３回 2 本日の内容 NAIST AHC Lab. 2015/10/23 ビッグデータアナリティクス 第３回 3 参考書 でき
Microsoft PowerPoint - Canon-MachineLearning27-jp.pptx
Canon ２０１２年９月１３日 トピックモデル概論 東京工業大学 計算工学専攻 杉山 将 sugi@cs.titech.ac.jp http://sugiyama-www.cs.titech.ac.jp/~sugi/ 概要 文書のモデル化は，自然言語処理や 機械学習の分野で盛んに研究されて いる 本講義では，文書のモデル化技術の 発展の経緯を概観する 2 講義の流れ 1. 2. 3. 4. 5. 6. 潜在意味解析（LSA） 多項混合（MM）モデル ポリヤ混合（PM）モデル 確率的潜在意味解析（pLSA）モデル 潜在的ディリクレ配分（LDA）モデル 拡張LDAモデル 3 文書単語行列 ：全文書データ（文書数 ：文書（長さ ） ：単語（語彙数 ） ：文書 中の単語 の出現回数を 要素に持つ文書単語行列 （大きさ ，一般にスパース） ） 4 潜在意味解析（LSA） 文書
Mallet TopicModeling - decadence
Mallet is MAchine Learning for LanguagE Toolkit MALLETはstatistical NLP, Document Classification, クラスタリング，トピックモデリング，情報抽出，及びその他のテキスト向け機会学習アプリケーションを行うためのJavaツール 特にLDAなどを含めたトピックモデルに関して得意としているようだ これらの処理を行う際に，すぐにpythonだ，GenSimだ，と言ってしまわないよう Javaでも出来る事を空いた時間に遊びも兼ねて触ってみようと思う． 公式のQuickStartも良いが，今回は以下のものを軽く翻訳しながらsample-dataをいじる Getting Started with Topic Modeling and MALLET データのインポート．enディレクトリ以下に，各文書ファイルが個々にt
Latent Dirichlet Allocation(LDA)を用いたニュース記事の分類 | SmartNews開発者ブログ
株式会社ゴクロの中路です。 以前のベイズ分類をベースにしたSmartNewsのチャンネル判定で触れたように、SmartNewsで配信する記事を「スポーツ」「エンタメ」「コラム」のようなチャンネルに分類しているのは、人ではなく機械です。そのアルゴリズムとして前回ご紹介したのは「ナイーブベイズ分類器」ですが、記事の分類を行う手法は、他にも様々なものがあります。その中で今回はLatent Dirichlet Allocation(以下LDA)について、先日東京大学の博士課程の皆さんと、社内で合同勉強会を行った際に作成した資料をベースにご紹介します。 LDAでできることの例 前回ご紹介したナイーブベイズ分類器を構築する際には、すでにトピックのラベルが付けられた文章を、学習データとして用意する必要がありました。 一方、LDAの場合は、 東京でサッカー大会が開催された。xx選手のゴールが圧巻であった。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Latent Dirichlet Allocation ゆるふわ入門 - あらびき日記