トピックモデルシリーズ 4 LDA （Latent Dirichlet Allocation）
このシリーズのメインともいうべきLDA（[Blei+ 2003]）を説明します。前回のUMの不満点は、ある文書に1つのトピックだけを割り当てるのが明らかにもったいない場合や厳しい場合があります。そこでLDAでは文書を色々なトピックを混ぜあわせたものと考えましょーというのが大きな進歩です。さてこの記事の表記法は以下になります。前回のUMの場合と同一です。 右2列は定数については数値を、そうでないものについてはR内の変数名を書いています。データは前の記事参照。 グラフィカルモデルは以下になります（左: LDA, 右（参考）: 前回のUM）。 見ると四角のプレートがまで伸びてきただけです。しかしながらこれが曲者でUMからかなりのギャップがあります。以下の吹き出しの順に説明していきます。 ① ここではハイパーパラメータからディリクレ分布に従って『文書の数だけ』が生成されます。このは以下のような
ScalaNLP
ScalaNLP Scientific Computing, Machine Learning, and Natural Language Processing ScalaNLP is a suite of machine learning and numerical computing libraries. ScalaNLP is the umbrella project for several libraries, including Breeze and Epic. Breeze is a set of libraries for machine learning and numerical computing. Epic is a high-performance statistical parser and structured prediction library.
Pythonの数値計算ライブラリ NumPy入門
Scientific Computing Tools For Python — Numpy NumPy は Pythonプログラミング言語の拡張モジュールであり、大規模な多次元配列や行列のサポート、これらを操作するための大規模な高水準の数学関数ライブラリを提供する。(via Wikipedia) これまで知識があいまいだったNumPyについて、もう一度おさらいしたいと思います。NumPyはSciPyと併せて科学技術計算でよく利用されています。また、高速に行列演算ができるのでOpenCV(コンピュータビジョンライブラリ)でもNumPyを利用したPythonインタフェースが提供されるようになりました。 OpenCVのPythonバインディングについては去年のエントリーでも取り上げていますので参考までに。 * さくらVPSにOpenCVをインストールしてPythonから使う [2017/04/2
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
オンラインで無料で読める統計書22冊｜Colorless Green Ideas
はじめに 今回は、ウェブを通じて無料で読むことができる統計に関する書籍を紹介したい。英語で書かれた本が多いが、日本語で書かれた本も若干ある。 入門書 まず、統計の初学者のために書かれた入門書を紹介したいと思う。 福井正康 (2002). 『基礎からの統計学』基礎から扱っている統計の入門書である。統計を扱う際に必要となる場合の数、確率などについて詳しく説明している。理解を助けるための演習問題とその解答がついている。統計処理用のソフトとしてはExcelを使っている。同じサイトに社会科学系の学生向けの数学の教科書もある。 小波秀雄 (2013). 『統計学入門』基礎から扱っている統計の入門書。内容としては、記述統計、確率、確率分布、簡単な推定・検定、相関と線形回帰などがある。確率や確率分布などの理論的な話が占める分量が多いので、分量のわりには、具体的な統計手法はあんまり載っていない。もちろん理論
第209回NL研究発表会-情報処理学会
研究会に登録されている方 研究報告は開催初日の1週間前（＝公知日）に電子図書館と当日用サイト（登録会員用）で公開します。 研究会に登録されていない方 当日受付で資料閲覧用のアカウント情報（URL，ID，PW）をお渡しいたします。 尚、研究会にご登録いただくことで当研究会のバックナンバーも含めて全て電子図書館でご購読いただけます。登録に関しては 「研究会に登録する」のページをご参照ください。 ------------------------------------------------------------------ 情報処理学会 第209回自然言語処理研究会 ------------------------------------------------------------------ ◎ 日程: 2012年11月22日(木), 23日(金) ◎ 会場: 京都大学 学術情報メ
CRF について（可変次数 CRF への前振り） - アスペ日記
最大エントロピーモデルの続き。 今回は、CRF（Conditional Random Fields, 条件付き確率場とも） 一般*1について。 前向き・後ろ向きアルゴリズムについては書かない。 また、一般に関連が深いとされる MEMM というものについても、ここでは触れない。 CRF とはどういうものか。 一言でいうと、最大エントロピーモデルの考え方を系列ラベリングに応用したもの。 ここで、系列ラベリングというタスクについて簡単に説明しておく。 たとえば、品詞タグ付けのようなものがある。 英語のように単語が分かれている言語で、それぞれの単語に対して「名詞」「動詞」などの品詞タグをつけるというタスク。 古典的な "time flies like an arrow"*2 を例にとる。 これには複数の解釈があり、その中には 時は矢のように過ぎ去る（光陰矢のごとし） 時バエは矢を好む のようなもの
セミナー情報 - 数理第6研究室ホームページ
Information-Theoretic Machine Learning and Data Mining Group Department of Mathematical Informatics The University of Tokyo セミナー情報 開催予定のセミナー ■2010年8月31日（火）11:00-12:30 題目Predicting drug-target interaction networks from the integration of chemical, genomic and pharmacological spaces 場所工学部14号館534号室 [地図] 講師山西 芳裕（パリ国立高等鉱業学校；Mines ParisTech 研究員） 言語日本語 概要In silico prediction of drug-target interaction
python/numpy - 機械学習の「朱鷺の杜Wiki」
パッケージ† pip や easy_install によるインストールの前に多くの外部ライブラリやfortranコンパイラなどが必要になるので，numpy等の科学技術計算パッケージをインストールするには以下のようなパッケージを一般には利用する： 商用（サポートなしなら無料でも利用できる） Anaconda：無料版でもIntel MKLが使える Enthought Canopy フリー Unofficial Windows Binaries for Python Extension Packages (個人ベースの管理で非公式版) ↑ その他† pyvideo.org：PyCon, SciPy, PyData などの講演ビデオリンク集 100 numpy exercises：練習問題 Pythonidae：Python関連のライブラリのリンク集 SciPy Central：SciPy 関連コ
データマイニングで使われるトップ10アルゴリズム - データサイエンティスト上がりのDX参謀・起業家
2006年のデータマイニング学会、IEEE ICDMで選ばれた「データマイニングで使われるトップ10アルゴリズム」に沿って機械学習の手法を紹介します（この論文は@doryokujin君のポストで知りました、ありがとうございます！）。 必ずしも論文の内容には沿っておらず個人的な私見も入っていますので、詳細は原論文をご確認下さい。また、データマイニングの全体観をサーベイしたスライド資料がありますので、こちらも併せてご覧下さい。 データマイニングの基礎 View more presentations from Issei Kurahashi 1. C4.5 C4.5はCLSやID3といったアルゴリズムを改良してできたもので、決定木を使って分類器を作ります。決定木といえばCARTが良く使われますが、CARTとの違いは以下のとおりです。 CARTは2分岐しかできないがC4.5は3分岐以上もできる C
Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop
「Mobageの大規模データマイニング」PRMU 2011 Big Data and Cloud で講演してきました http://d.hatena.ne.jp/hamadakoichi/20111229/p1Read less
余暇活動日記 Pythonのライブラリをインストール（研究室編）
前回、MeCabをインストールして、今回は機械学習に必要と思われるライブラリをインストールします。 （この作業をしてから数日後に書いているため、書き漏らしがあるかも） 環境：Linux 5.4 x86_64bit 順序： １．numpy ２．matplotlib ３．blas ４．lapack ５．scipy ６．cvxopt ７．libsvm ８．liblinear ９．svm-light １．numpy Pythonプログラミング言語の拡張モジュールであり、大規模な多次元配列や行列のサポートし、これらを操作するための大規模な高水準の数学関数ライブラリを提供してくれます。 wget http://sourceforge.net/projects/numpy/files/NumPy/1.6.0/numpy-1.6.0.tar.gz/download tar xzvf numpy-1.6.0
Radiobots – 人工知能ラジオ番組
私たち（木村・ジェプカ・高丸）は、ラジオ番組のパーソナリティとリスナーの関係を参考にした対話処理の新しい枠組みを提案しています。従来の対話システムでは、応答の品質向上に焦点を当てていて、継続して利用するしくみや入力の負荷についてはあまり考えられていない(はず…)。 研究代表者 小樽商科大学 木村泰知 従来研究との違い 関連業績 木村泰知, ジェプカラファウ, 高丸圭一, “Radiobots型対話システムの提案”, JSAI2015. … Radiobots型対話システムの実装例 Radiobots型対話システムの実装例(2015年12月) Radiobots型「Pepperで小樽商科大学を紹介する」対話システムの実装例(2016年06月)
Decision Tree Learning
決定木学習 目的 あらかじめ分類しておいたデータ集合の法則性を推定し，決定木を自動的に生成すること． > 決定木 属性・属性値ペアのリストとして与えら れるデータを受取り，それをあらかじめ定められた概 念(カテゴリ)のどれに属すかを決定する装置 (注意) ここでは，簡単のためにあらかじめ与えられた一つの概念に 属すかどうかを決定する装置とする．つまり，決定木はブール関数をあらわ すこととする． [葉ノード]: 概念 (ここではブール値) [中間ノード]: 属性値のテスト テストの結果が n 通りあるときは，それぞれの結果に対して n 個のアー クをもつ． 各中間ノードにおけるテストとしては唯一の属性値の検査だけが許され る． (決定木の例1: 卒業の判定) (決定木の例2: みかんの上/並の判定) 決定木の良さ 一般に同じ判別をする決定木は多数ある． (トレーニングデータの例) このトレー
overlasting.net
overlasting.net 2019 Copyright. All Rights Reserved. The Sponsored Listings displayed above are served automatically by a third party. Neither the service provider nor the domain owner maintain any relationship with the advertisers. In case of trademark issues please contact the domain owner directly (contact information can be found in whois). Privacy Policy
Topicに基づく統計的言語モデルの最前線 PLSIからHDPまで
, 2006.3.13 Topic URL= http://www.mibel.cs.tsukuba.ac.jp/~myama/pdf/topic2006.pdf • – • ex. • – – – • • UM DM PLSI LDA [ 1999] HDP � �� �� �� �� �� ��������������������������������������������������������� Eurospeech 㖸㗀ቇળ⎇ⓥ⊒ળ ᤐ ⛔ ⸘ ⊛ ⸒ ⺆ ࡕ ࠺ ࡞ 㑐 ㅪ ⺰ ᢥ ᢙ ࡐࠬ࠲㒰ߊ㧕 1/2 • • n-gram – Noisy Channel Models – – • – – 2/2 • PLSI LDA Probabilisitic LSI Latent Dirichlet Allocation UM DM Unigram Mixtures Diri
Graham Neubig - チュートリアル資料
学校での講義 Fall 2024: Advanced NLP (CS11-711 @ CMU) Fall 2022: Advanced NLP (CS11-711 @ CMU) Spring 2022: Multilingual NLP (CS11-737 @ CMU) Fall 2021: Advanced NLP (CS11-711 @ CMU) Spring 2021: Neural Networks for NLP (CS11-747 @ CMU) Fall 2020: Multilingual NLP (CS11-737 @ CMU) Spring 2020: Neural Networks for NLP (CS11-747 @ CMU) Fall 2019: Machine Translation and Sequence-to-sequence Models (CS11-7
多項分布からDirichlet 過程まで
. . . . . . . Dirichlet Version 0.03 : 2012 10 29 Dirichlet 1 / 36 Bayesian Dirichlet inference Graham Dirichlet 2 / 36 (Multinomial distribution) x K θ = (0.1, 0.6, 0.3) θ x = (x1, · · · , xN) θ x′ Bayes θ x x′ Dirichlet 3 / 36 N-gram language model (V ) HMM POS tagging Probabilistic context-free grammar (PCFG) Topic model Dirichlet 4 / 36 : Hidden Markov Model POS tagging DT NN VT NN the sun has
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Archive - Long-term storage for Google Code Project Hosting.
機械学習の Python との出会い — 機械学習の Python との出会い