[杉山将のページ]
[ English | Japanese ] 杉山 将（すぎやま まさし） 東京工業大学 大学院情報理工学研究科 計算工学専攻 認知機構学講座 情報認識機構分野 准教授 興味のある研究分野： 機械学習の理論と応用， 表面微細凹凸形状測定， 信号画像処理など 研究概要 主要発表論文：英語文献, 日本語文献 全発表論文リスト:英語文献, 日本語文献 講演リスト 授業 ソフトウェア 履歴書 リンク Gmail 東京工業大学 VPN Yahoo Japan 機械学習研究グループ T-PRIMAL グローバルCOE 計算世界観の深化と展開(CompView) 駅探 Google maps Yahoo US Fraunhofer FIRST.IDA ECML2008, DMSS2008, IBIS2008, NIPS, ICDM2008, APBC2009 東京工業大学 付属図書館 東京工業大学 ポ
ベイジアンネットワーク－入門から応用まで
Abstract: ( ) ( ) ( ) 1. ( ) 2. (Bayesian network, Bayesnet, belief network) [1, 2, 3, 4, 5] [6, 7, 8, 9, 10] 0 1 1 0 Xi, Xj Xi → Xj Xj Xi X1 X2 X4 X3 X5 X2 0 1 X4 0 0.8 0.4 1 0.2 0.6 条件付確率表 P(X4|X2) P(X3|X1,X2） Ｐａ（Ｘ３） Ｐａ（Ｘ５） Ｐａ（Ｘ４） P(X５|X３,X４） 1: Bayesian network Xj Pa(Xj) Xj Pa(Xj) ( Pa(Xj) ) P(Xj | Pa(Xj)) (1) n X1 · · · , Xn (2) P(X1, · · · , Xn) = n � j=1 P(Xj | Pa(Xj)). (2) 1 1 3 Pa(Xj) = x1
独断と偏見によるノンパラ入門 - 木曜不足
「ノンパラメトリック」って言うくらいだからパラメータ無いんかと思ってたら、パラメータめっちゃあるし。 機械学習のネーミングのひどさはこれに始まった話じゃあないけど、それにしたって。 ノンパラの一番素朴なやつ( K-means とか)は本当にパラメータ無くてデータだけだから納得なんだけど、だんだん欲が出てパラメータ足しちゃったり派生させちゃったりしてるうちに、よくわかんなくなってきちゃったんだろうかねえ。まったく。 どれどれ、と英語版 Wikipedia の "Non-parametric statistics" を見たら、なんか意味が4種類くらい書いてあるし。じゃあ名前分けろよ。 en.wikipedia.org とりあえずここで言う「ノンパラ」とは、変数の個数決めなくていい「分布の分布」なメタっぽいやつのこと。つまりディリクレ過程とか、ディリクレ過程とか、そこらへん。 「あー、ノンパラベ
BLOG::broomie.net: 言語処理のための機械学習入門
東工大の奥村先生監修、高村先生著の「言語処理のための機械学習入門」が発売されました。これは読まなければ！と思い、さっそく手に入れました。本書の感想は本当にシンプルな一言に尽きます。 「大学時代にこの本がほしかった。。。」 本書の目次の中見出しまでを以下に引用させていただきます。 言語処理のための機械学習入門 (自然言語処理シリーズ 1) 高村 大也 1. 必要な数学的知識 1.1 準備と本書における約束事 1.2 最適化問題 1.3 確立 1.4 連続確率変数 1.5 パラメータ推定法 1.6 情報理論 1.7 この章のまとめ 2. 文書および単語の数学的表現 2.1 タイプ、トークン 2.2 nグラム 2.3 文書、文のベクトル 2.4 文書に対する前処理とデータスパースネス問題 2.5 単語ベクトル表現 2.6 文書や単語の確率分布による表現 2.7 この章のまとめ 3. クラスタリン
Momma's Wiki: OpenCV/機械学習/n-fold Cross Validation - OpenCVの機械学習で交差確認(n-fold Cross Validat...
サンプル sampleで配布されているletter_recog.cppへ適用。 letter_recog.cpp、myCrossVal.cpp、myCrossVal.h、letter-recognition.dataを同一フォルダに置き、Windowsの場合はdata以外をプロジェクトに加えてビルド。 Linux等の場合はMakefileでそれぞれコンパイルさせてリンクさせる。(動作未確認) 試行錯誤する方法としてSTLのlistを使ってみた。これも実装は汚ない。 Random Treesの場合 その1 Training classifier: 1 Cross Validation: classifier 1 test1/10: Trees :23 Recognition Rate: train= 97.4%, test= 92.8% Training classifier: 2 Cros
PRML合宿まとめサイト
■上巻 第1章: 序論 序論ではまずパターン認識の最も簡単な例として多項式曲線フィッティングを取り上げ、パターン認識・機械学習の基本的な枠組みを紹介する。そしてベイズの定理や統計量などの確率論の基礎を導入し、確率論の観点から再び曲線フィッティングを扱う。不確実性はパターン認識の分野における鍵となる概念であり、確率論はこれを定量的に取り扱うための一貫した手法を与えるため、この分野における基礎の中心を担っている点で重要である。 また、回帰・識別の実際の取り扱いに際して必要となる決定理論や、パターン認識・機械学習の理論において役立つ情報理論の導入についても行う。 発表資料はこちら(ppt)とこちら(ppt)。前半では多項式曲線フィッティングの例およびベイズ的確率を、後半では決定理論および情報理論を取り扱っている。 第2章: 確率分布 第2章では二項分布や多項分布、ガウス分布といった各種の確率分布
[メモ] サポートベクターマシン(SVM) - 机上の空論
サポートベクターマシン(以下 SVM) とは ・ニューラルネットワークの一種 ・教師ありクラスタリング SVM の基本的な考え方 ・元々2クラスの線形分離手法として提案される ・単層パーセプトロンに似ているが、SVM はマージン最大化という手法をとっているのがポイント。 ・マージン最大化とは、超平面と学習データの隙間となるマージンをなるべく大きく取ろうというもの。 (ここでいう超平面とは、2つのクラスにぶった切る平面のこと) ・ちなみに超平面と、ちょうどマージンの分だけ離れている学習データをサポートベクトルという。 ・このマージン最大化という考えを取り入れることによって、テストデータの識別精度を高めている。 SVM の発展 ・線形分離不可能な問題への対応 - ソフトマージン(学習データが多少マージンにくい込んだり、反するクラスの空間にくい込んだりしても許す)で対応
劣微分を用いた最適化手法について(3) - Preferred Networks Research & Development
進撃の巨人3巻が11月に発売されるものと勘違いして本屋を探し回っていましたが、発売日は12月9日でした。徳永です。 前回は、確率的勾配降下法（SGD）について説明しました。今回はいよいよ、劣微分を用いた最適化手法に付いての説明をおこないます。 前回の復習 前回は、最大エントロピーモデルによる線形識別器の学習方法について説明し、最後に正則化について紹介しました。正則化については重要性を主張しきれていなかった気がするので、もう一度過学習と正則化について説明しておきたいと思います。 前回、間違いは少ないほうがいいよね、というような話をしましたが、間違いには2種類あります。一つは既知のデータに対する間違いの多さで、もう一つは未知のデータに対する間違いの多さです。既知のデータに対する間違いを経験損失と言い、未知のデータに対する間違いを期待損失、もしくは汎化誤差と言います。（間違いと損失はちょっと違い
PythonでLDAを実装してみる
Latent Dirichlet Allocationはテキストのような不連続データのための生成的確率モデル。入力はドキュメント。出力はドキュメントを特徴づける何か（tf-idfみたいなもん）。 基本的なアイディアは、あるドキュメントは潜在的ないくつかのトピックが混合していて、それぞれのトピックは語の分布で特徴づけられている、ということ。 論文[1]ではαとβというパラメータを用いてドキュメントが以下のように生成されると仮定している。 ドキュメントのトピックの分布θがディリクレ分布Dir(α)に基づいて選ばれる。 ドキュメントの語数N個になるまで以下を繰り返す。 トピックznが多項分布Mult(θ)に基づいて選ばれる。 単語wnが確率p(wn|zn,β)で選ばれる。 ただし、トピックzの数をk個、単語wの種類をV個とすると、パラメータαはk次元のベクトル、βはk x V次元の行列でβij=
最大マージン kNN と SVM の関係: kNN も最近はがんばっています - 武蔵野日記
先日書いた機械学習における距離学習の続き。 kNN (k-nearest neighbour: k 近傍法)は Wikipedia のエントリにも書いてある通り、教師あり学習の一つで、あるインスタンスのラベルを周辺 k 個のラベルから推定する手法。memory-based learning と呼ばれることもある。単純に多数決を取る場合もあれば(同点を解決する必要があるが)、近いインスタンスの重みを大きくする場合もあるのだが、いずれにせよかなり実装は単純なので、他の機械学習との比較(ベースライン)として使われることも多い。 簡単なアルゴリズムではあるが、1-NN の場合このアルゴリズムの誤り率はベイズ誤り率(達成可能な最小誤り率)の2倍以下となることが示されたり、理論的にもそれなりにクリアになってきているのではないかと思う。また、多クラス分類がちょっと一手間な SVM (pairwise に
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HMM, MEMM, CRF まとめ - あらびき日記
iir/sequence/hmm.py at master · shuyo/iir