オンラインEMアルゴリズム - DO++
EMアルゴリズム（Expectation Maximizationアルゴリズム、期待値最大化法、以下EMと呼ぶ）は、データに観測できない隠れ変数（潜在変数）がある場合のパラメータ推定を行う時に有用な手法である。 EMは何それという人のために簡単な説明を下の方に書いたので読んでみてください。 EMのきちんとした説明なら持橋さんによる解説「自然言語処理のための変分ベイズ法」や「計算統計 I―確率計算の新しい手法 統計科学のフロンティア 11」が丁寧でわかりやすい。 EMは教師無学習では中心的な手法であり、何か観測できない変数を含めた確率モデルを作ってその確率モデルの尤度を最大化するという枠組みで、観測できなかった変数はなんだったのかを推定する場合に用いられる。 例えば自然言語処理に限っていえば文書や単語クラスタリングから、文法推定、形態素解析、機械翻訳における単語アライメントなどで使われる。
ohmm（オンラインEMによるHMM学習）をリリースしました - DO++
Ohmm-0.01をリリースしました [Ohmm 日本語] [Ohmm English] これは、以前のブログで書いた、オンラインEM法をそのまま素直に隠れマルコフモデル(HMM)に対し適用したライブラリです。 使う場合は、単語（アクセス履歴とかなんでもよい）に分けられているテキストを入力として与えれば、HMMによる学習を行い、結果を出力します。他で利用できるように、パラメータを出力したり、単語のクラスタリング結果を出力します。 HMM自体は、言語情報やアクセス履歴、生物情報（ＤＮＡ）といったシーケンス情報において、前後の情報を用いて各要素をクラスタリングしたい場合に用います。 本ライブラリの特徴はオンラインEMの特徴通り、従来のEMよりも速く収束します。一応標準的な最適化手法（スケーリング、スパースな期待値情報の管理）もいれているので、そこそこ高速に動きます 速度的には100万語、隠れ状
標本選択バイアス - 機械学習の「朱鷺の杜Wiki」
標本選択バイアス (sample selection bias)† 統計では，標本はランダムに選択されたと仮定することが多い．しかし，現実には，電話調査で電話に出ない人のパターンはランダムではないといった問題によって，そうした調査が難しい場合もある．このように標本がランダムではない，なんらかの偏りのことを標本選択バイアス (sample selection bias)という． そこで，Heckman は，標本選択バイアスがある場合での，回帰分析の補正方法を示した (基本文献)．この研究に対して2000年にノーベル経済学賞を授与されている． 機械学習の分野では，分類問題について標本選択について論じた(文献1)が著名なので，この文献を紹介する． 普通の分類問題の事例は入出力の対 \((\mathbf{x},y)\)．さらに，母集団からサンプルされるなら \(s=1\)，でなければ \(0\)
tutorials:index.html [Auton Lab]
The following links point to a set of tutorials on many aspects of statistical data mining, including the foundations of probability, the foundations of statistical data analysis, and most of the classic machine learning and data mining algorithms. These include classification algorithms such as decision trees, neural nets, Bayesian classifiers, Support Vector Machines and cased-based (aka non-par
opencv.jp - OpenCV-1.0:機械学習 EMアルゴリズム（Expectation-Maximization）リファレンス マニュアル -
最終変更者: 怡土順一, 最終変更リビジョン: 467, 最終変更日時: 2009-06-23 14:23:34 +0900 (火, 23 6月 2009) EM（Expectation-Maximization）アルゴリズムは，混合数が指定された混合ガウス分布に基づき，多変量の確率密度関数のパラメータを推定する． 特徴ベクトル{x1, x2,...,xN} の集合を考える． d次元ユークリッド空間のN個のベクトルは，混合ガウス分布を用いて以下のように表現される． ここでmは混合数，pk は，平均ak，共分散行列Sk， k-th分布の重みπkを持つ正規分布密度である． 混合数mとサンプル{xi, i=1..N}を与えることで，アルゴリズムはすべての混合分布パラメータ （すなわち， ak，Sk，πk） の最尤推定値（MLE） を以下のように推定する． EMアルゴリズムは繰り返し処理を行う．各
Expectation–maximization algorithm - Wikipedia
In statistics, an expectation–maximization (EM) algorithm is an iterative method to find (local) maximum likelihood or maximum a posteriori (MAP) estimates of parameters in statistical models, where the model depends on unobserved latent variables.[1] The EM iteration alternates between performing an expectation (E) step, which creates a function for the expectation of the log-likelihood evaluated
CompLearn Home
What is CompLearn? CompLearn is a suite of simple-to-use utilities that you can use to apply compression techniques to the process of discovering and learning patterns. The compression-based approach used is powerful because it can mine patterns in completely different domains. It can classify musical styles of pieces of music and identify unknown composers. It can identify the language of bodies
自然言語処理における類似度学習(機械学習における距離学習)について - 武蔵野日記
Twitter でグラフ理論に関する話題が上がっていたので、最近調べている距離学習(distance metric learning)について少しまとめてみる。カーネルとか距離(類似度)とかを学習するという話(カーネルというのは2点間の近さを測る関数だと思ってもらえれば)。 この分野では Liu Yang によるA comprehensive survey on distance metric learning (2005) が包括的なサーベイ論文として有名なようだが、それのアップデート(かつ簡略)版として同じ著者によるAn overview of distance metric learning (2007) が出ているので、それをさらに簡略化してお届けする(元論文自体本文は3ページしかないし、引用文献のあとに表が2ページあって、それぞれ相違点と共通点がまとまっているので、これを見ると非
Backpropagation neural networks in ruby :: ai4r
The utility of artificial neural network models lies in the fact that they can be used to infer a function from observations. This is particularly useful in applications where the complexity of the data or task makes the design of such a function by hand impractical. Neural Networks are being used in many businesses and applications. Their ability to learn by example makes them attractive in
バックプロパゲーション - Wikipedia
バックプロパゲーション（英: Backpropagation）または誤差逆伝播法（ごさぎゃくでんぱほう）[1]はニューラルネットワークの学習アルゴリズムである[2]。 概要[編集] バックプロパゲーションは数理モデルであるニューラルネットワークの重みを層の数に関わらず更新できる（学習できる）アルゴリズムである。ディープラーニングの主な学習手法として利用される。 そのアルゴリズムは次の通りである： ニューラルネットワークに学習のためのサンプルを与える。 ネットワークの出力を求め、出力層における誤差を求める。その誤差を用い、各出力ニューロンについて誤差を計算する。 個々のニューロンの期待される出力値と倍率 (scaling factor)、要求された出力と実際の出力の差を計算する。これを局所誤差と言う。 各ニューロンの重みを局所誤差が小さくなるよう調整する。 より大きな重みで接続された前段のニ
CLARANS - 機械学習の「朱鷺の杜Wiki」
PAM (Partitioning Around Medoids)† k-medoids法のように各クラスタは，そのクラスタ中の一つデータ点である medoid で代表する．各クラスタの medoid と，そのクラスタ内の点の非類似度の総和を最小にするクラスタを求める． 最初はランダムに k 個の medoid を選ぶ． 各 medoid と，それ以外の点とを交換し，最も評価値を改善する交換を実行する． どの点を交換しても評価値が改善されなくなったら終了． ↑ CLARA (Clustering LARge Applications)† 全ての点から medoid を探すのではなく，ランダムサンプリングした点の中から探すことで高速化． 40+2k個のサンプルをランダムにデータ集合からとりだし，アルゴリズムPAMでk個のmedoidを見つける． サンプルされた以外の点を medoid に分類
二値変数 - 機械学習の「朱鷺の杜Wiki」
二値変数 (binary variable)† 二値変数とは二つの値をとりうるカテゴリ変数．数値として扱う場合は 0/1 または +1/-1 で符号化する． 対称な二値変数： 男性/女性などどちらの値も同じ重みの二値変数．男性=0，女性=1と符号化しても，男性=1，女性=0 と符号化しても類似度などが変化しないようにする． indicatingな二値変数： ある性質(例：クエリのレコードへの適合)を持つか，持たないかという重要性に差がある二値変数．ある性質があるときを1，そうでないときを0と符号化したなら，二つの二値変数が両方とも1であるときの方が，両方とも0であるときより類似しているように符号化する． ↑ 二値変数の類似度† \(m\)個の0/1の値をとる二値変数のベクトル \(\mathbf{x}\) と \(\mathbf{y}\) の類似度を考える． \(i=1,\ldots,m\
Amazon.co.jp: リストマニア
機械学習ことはじめ sleepy_yoshi パターン認識と機械学習 上 - ベイズ理論による統計的予測 "新しい機械学習の定番教科書になるでしょう" Pattern Recognition and Machine Learning (Information Science and Statistics) "Bishop本" Pattern Classification "パターン認識定番本" データマイニングの基礎 (IT Text) "実は機械学習の基礎にいい" わかりやすいパターン認識 "パターン認識の入門書" フリーソフトでつくる音声認識システム-パターン認識・機械学習の初歩から対話システムまで- "「わかりやすいパターン認識」にいきなり入るのは辛い方にはお薦め" Rで学ぶクラスタ解析 "クラスタリングの解説書．理論がきっちり紹介されている．スペクトラルクラスタリングがあるのがツボ
AWM Home Page
I am the Dean of the School of Computer Science at Carnegie Mellon University. (Pronouns he/him). My background is in statistical machine learning, artificial intelligence, robotics, and statistical computation for large volumes of data. I love algorithms and statistics. In the case of robotics, which I also love, I only have expertise in decision and control algorithms. I suck at hardware and mec
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
autonweb:2.html [Auton Lab]
http://people.csail.mit.edu/jrennie/20Newsgroups/
Software to unzip identity of unknown composers
Map-Reduce for Machine Learning on Multi-Core
examples/datamining/perceptron.py at master from tuulos's disco - GitHub
バックプロパゲーション：入門編