サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
ノーベル賞
www.neurosci.aist.go.jp/~akaho
カーネル法Wiki † このページで紹介するのは統計的な学習の話で出て来る、カーネル関数を使ったデータ解析法の話です。 linux カーネルとかのカーネルではありません,念のため。 カーネル法の代表格として SVM (サポートベクターマシン・サポートベクトルマシン)などがあります。 岩波書店「カーネル多変量解析」サポートページ 2008 年 11 月 27 日発売予定! 赤穂によるカーネル法の解説記事 森北出版「学習システムの理論と実現」など コラム (朱鷺の杜ブログより) 外部リンク 朱鷺の杜Wiki, カーネルの説明 WikiPediaの解説 kernel-machines.org 赤穂昭太郎のホームページ
統計科学のフロンティアに続く新シリーズとして企画された新シリーズ確率と情報の科学シリーズ の第1巻として出版される「カーネル多変量解析」のサポートページです. カーネル法によるデータ解析は今や生命情報科学やデータマイニングの分野では標準である.しかし文字列やグラフ解析など別分野に適応できるように自身で設計しようとすると容易ではない.本書は,カーネル法という多変量解析の底に流れる基本的な考え方を紹介して,読者自身が設計を行う際の道標になるような内容をめざす.(岩波書店紹介文より)
次へ: まえがき 索引 [オーガナイズド講演] 確率モデルと集団最適化入門 Introduction to statistical models for populational optimization 赤穂 昭太郎 1 Shotaro Akaho 概要: This paper provides an introductory review of populational search methods based on statistical modelling. We start with a random search algorithm called Markov Chain Monte Carlo (MCMC). To solve an optimization problem, it is crucial for the performance to use spec
情報幾何と機械学習 赤 穂 昭 太 郎* *(独) 産業技術総合研究所 脳神経情報研究部門,茨城県つくば市梅園 1–1–1 中央第 2 *The National Institute of Advanced Industrial Science and Technology, Central 2, 1–1–1 Umezono Tsukuba-shi Ibaraki 305–8568, Japan *E-mail: s.akaho@aist.go.jp キーワード 微分幾何(differential geometry) : ,双対性(duality) ,平坦空 ,射影(projection) ,確率モデル(probabilistic model) , 間(flat space) 統計的推定(statistical inference) JL 002/02/4202–0086 c 2002 SI
本論文では,学習という用語を統計モデルのパラメータ推定の意味で用いる. 混合分布の学習法としては,モーメント法など種々の方法が知られているが, 最も一般性があるのは尤度を最大にする最尤推定法である. 最尤推定は多くの場合計算が 簡単であり,(正則条件のもとで)漸近有効性をもつので,広く用いられている. 本章では,まず混合分布の最尤推定について述べ, 汎化能力を評価するための尤度のバイアスに関する知見を整理する. 次に,混合分布の学習アルゴリズムとして EM アルゴリズムを取り上げ,従来行われてきた研究の概要と本論文で必要と する事項のまとめを行う. Subsections 最尤推定 汎化と竹内の情報量規準 (TIC) 汎化バイアス 竹内の情報量規準 (TIC) 冗長性と特異性 EM アルゴリズム 一般的な特徴 一般的な定式化 独立なサンプルが与えられた時の混合分布の学習 独立な要
EM アルゴリズムは,観測できない隠れたパラメータが存在する時に最尤推定 を行うための汎用手法であり,混合分布以外にも隠れマルコフモデルやグラ フィカルモデルの学習に応用されている. EM アルゴリズムは Newton 法(ある いは Fisher のスコアリング法)や勾配法と同様,反復法によって局所最適解を求めるア ルゴリズムであるが,他の手法に比べて次のような長所をもつ [30,69,53,84]. 尤度が単調に増加することが保証されており,アルゴリズムの振る舞い が安定している. 前節で述べたように,混合分布では尤度が無限大になる無 意味な解が存在するので,アルゴリズムの安定性は重要である. 速度に関しても収束の初期の段階では Newton 法と同程度の速さになる ことが知られている(ただし,最適解の近傍では 1 次収束なので種々の加速 法が考案されている). インプリメンテー
赤穂 昭太郎 のホームページへようこそ [English] 産業技術総合研究所 (産総研, AIST : 2001/4 より独立行政法人化) 脳神経情報研究部門 情報数理研究グループ Phone: 029-861-5549 Fax: 029-861-5841 E-mail: s ドット a k a h o あっとマーク a i s t ドット g o ドット j p URL(オフィシャル): http://staff.aist.go.jp/s.akaho/index-j.html プロフィール 研究 解説・論文リスト 論文博士 朱鷺の杜Wiki・ blog 混合分布とEMアルゴリズムのJava アプレット カーネルマシン 早稲田大学理工学部「パターン認識」サポートページ イントラホーム(産総研内のみ) お知らせ 赤穂のプライベートなページは http://www.
カーネルマシン このページで紹介するのは統計的な学習の話で出て来る、カーネル関数を使った 学習機械の話です。 linux カーネルとかのカーネルではありません。 念のため。 カーネルマシンの代表格として SVM (サポートベクターマシン・ サポートベクトルマシン)、 GP (ガウシアンプロセス、正規過程) などがあります。 チュートリアル 電子情報通信学会ニューロコンピューティング研究会チュートリアル講演 赤穂:カーネルマシン, 信学技報 NC-2003-34 PDF file | PS file | HTML (この原稿には図がありません. 忍耐強く読んでください^^;) 印刷版からのミスプリ 発表スライド PDF file | PS file (こちらはイラストつきです^^) リンク集 www.kernel-machines.org: カーネルマシン関係が充実してます.
カーネルマシン 赤穂 昭太郎 産総研 脳神経情報研究部門 情報数理研究グループ s.akaho@aist.go.jp http://www.neurosci.aist.go.jp/˜akaho/kernel.html 1. はじめに 2. 3. 4. 5. 6. 7. パーセプトロンからサポートベクタマシンへ カーネルマシンの一般性 SVM の汎化能力 いろいろなカーネル いろいろなカーネルマシン むすび 1 識別問題 y x1 x2 ... yi=-1 yi=1 xn x • 入力: • 出力: x∈ d y ∈ {1, −1} • 学習サンプル: (x1 , y1 ), . . . , (xn , yn ) 2 メモリベースド識別器 y x1 x2 ... y x1 x2 ... xn x xn x • × 完全メモリベースド • 正則化: なまし ⇒ カーネル •
社団法人 電子情報通信学会 THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS 信学技報 TECHNICAL REPORT OF IEICE. [チュートリアル講演] カーネルマシン 赤穂昭太郎† † 産業技術総合研究所 脳神経情報研究部門,つくば市 E-mail: †s.akaho@aist.go.jp あらまし サポートベクタマシン (SVM) に代表されるカーネルを用いた学習機械について解説する.これらにほぼ共 通しているのは,基本的に線形の学習機械の延長線上にあり,ローカルミニマムの問題などが少ないこと,それから, 正則化を行うことにより高い記述能力と汎化能力を両立していることが特長である. キーワード サポートベクタマシン,正則化,スパースネス,数理計画法,汎化 Kernel Mac
次へ: はじめに [チュートリアル講演] カーネルマシン 赤穂 昭太郎1 Shotaro Akaho s.akaho@aist.go.jp 概要: サポートベクタマシン (SVM) に代表されるカーネルを用いた学習機械について解説する. これらにほぼ共通しているのは,基本的に線形の学習機械の延長線上にあり, ローカルミニマムの問題などが少ないこと,それから,正則化を行うことにより 高い記述能力と汎化能力を両立していることが特長である. キーワード: サポートベクタマシン,正則化,スパースネス,数理計画法, 汎化 Kernel machines such as the support vector machine are reviewed. Most of them are not suffered from the local optimum problem, because they
次へ: 序 論 有限混合分布モデルの学習に関する研究 (Web 版) 赤穂 昭太郎 2001 年 3 月 15 日学位授与(博士(工学)) 序 論 研究の背景と位置づけ 論文の構成 有限混合分布とその基本的性質 定義 モジュール性 階層ベイズモデルとの関係 パラメトリック性とノンパラメトリック性 RBF ネットワークとの関係 学習における汎化と EM アルゴリズム 最尤推定 汎化と竹内の情報量規準 (TIC) 汎化バイアス 竹内の情報量規準 (TIC) 冗長性と特異性 EM アルゴリズム 一般的な特徴 一般的な定式化 独立なサンプルが与えられた時の混合分布の学習 独立な要素分布の場合 サンプルに重みがある場合 EM アルゴリズムの一般化 EM アルゴリズムの幾何学的解釈 正規混合分布の汎化バイアスの非単調性について はじめに Radial Basis Boltzmann Machine (
混合分布に対する EM アルゴリズム (テスト バージョン) last ufpdated : 2001 Oct 12 与えられた学習データに最もフィットするように学習を行ないます. 学習には EM アルゴリズムを使っていますので, 必ずしも最適解には収束せず, 局所解につかまることもあります. EM アルゴリズムはこのような複数モジュールの学習に向いたアルゴリズムです. 使用法 "GaussMix" か "LineMix" を切替えると正規分布学習か 複数直線学習かを選べます. 画面中でクリックした点が学習データ点になります. "RandomPts"をクリックすると一様分布で点がばらまかれます. "ClearPts"をクリックすると点がクリアされます. 1 から 5 までで正規分布や直線の数を選びます. "InitKernels" を押すと正規分布や直線をランダムに初期化します. EM
このページは筆者が 東京大学工学系研究科計数工学専攻で 博士(工学)を論文博士で取得した際の 個人的な経験に基づくものであり,内容の正確さについては 保証できません. あくまで参考程度にお読みください. また,お寄せ頂いた質問やコメントに応じて改定していく予定です のでお気軽にお聞かせください. (2001.1.18作成, 2001.3.28 更新,2001.4.23 とりあえず完結, 2003.1.14 リンク集追加など少し改訂, 2003.3.28 若干の追加), 2005.4.11 リンク集追加 目次 学位(博士号)とは スタートラインに着くまで (〜2000.1.24) 手続き的な注意 論文作成 (〜2001.6.22) 予備審査 (〜2001.9.14) 論文提出 (〜2001.11.13) 本審査 (〜2001.01.17) 本審査以後学位授与まで (〜2001.04) おま
このページを最初にブックマークしてみませんか?
『www.neurosci.aist.go.jp』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く