サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
災害への備え
www.neurosci.aist.go.jp/~akaho
カーネルマシン 赤穂 昭太郎 産総研 脳神経情報研究部門 情報数理研究グループ s.akaho@aist.go.jp http://www.neurosci.aist.go.jp/˜akaho/kernel.html 1. はじめに 2. 3. 4. 5. 6. 7. パーセプトロンからサポートベクタマシンへ カーネルマシンの一般性 SVM の汎化能力 いろいろなカーネル いろいろなカーネルマシン むすび 1 識別問題 y x1 x2 ... yi=-1 yi=1 xn x • 入力: • 出力: x∈ d y ∈ {1, −1} • 学習サンプル: (x1 , y1 ), . . . , (xn , yn ) 2 メモリベースド識別器 y x1 x2 ... y x1 x2 ... xn x xn x • × 完全メモリベースド • 正則化: なまし ⇒ カーネル •
社団法人 電子情報通信学会 THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS 信学技報 TECHNICAL REPORT OF IEICE. [チュートリアル講演] カーネルマシン 赤穂昭太郎† † 産業技術総合研究所 脳神経情報研究部門,つくば市 E-mail: †s.akaho@aist.go.jp あらまし サポートベクタマシン (SVM) に代表されるカーネルを用いた学習機械について解説する.これらにほぼ共 通しているのは,基本的に線形の学習機械の延長線上にあり,ローカルミニマムの問題などが少ないこと,それから, 正則化を行うことにより高い記述能力と汎化能力を両立していることが特長である. キーワード サポートベクタマシン,正則化,スパースネス,数理計画法,汎化 Kernel Mac
www.neurosci.aist.go.jp/~kurita
次へ: はじめに ニューラルネット入門 栗田多喜夫 脳神経情報研究部門 産業技術総合研究所 E-mail: takio-kurita@aist.go.jp visitors since Feb. 19, 2001. はじめに 最急降下法 最小2乗法 パーセプトロン ADALINE ロジスティック回帰モデル 最尤法 多層パーセプトロン 誤差逆伝搬学習法 この文書について... 平成14年7月19日
最小2乗法は、ある変量の組(説明変数)とその変量に対する望みの結果(目的 変数、教師信号)が学習データとして与えられた時、説明変数から目的変数を 予測するモデルを構築するための統計的データ解析手法で、最も基本的で、最 も広く用いられています。ここでは、以下のような例題に対するプログラムを 作ってみましょう。 問題2. 15人の中学生のボール投げの記録()と握力()、身長 ()、体重()のデータがあります。
階層型ニューラルネットは、理論的には、中間層のニューロン数を多くすると、中間 層が1層のみのネットワークを用いて任意の関数を近似できる [31,34]。つまり、理論的には中間層のニューロン数を多くすると学 習データに対して平均2乗誤差のほとんど無いネットワークを構成することが可能で ある。しかし、中間層のニューロン数を多くすることによって学習データに対してい くら近似を良くしてもそのネットワークが未知データに対しても良い近似を与えると は限らない。これは,学習データには、一般に、本質的な情報と偶発的なノイズの両 方が含まれており、偶発的なノイズの情報をいくら精度良く学習しても本来の目的で ある未知データに対する近似を良くすることにはならないためである。 この問題に対して、Baumは、妥当な一般化能力を持つネットワークのサイズの上 限に関して VC 次元による考察を行なっている[14]。 一
次へ: はじめに 統計的画像処理手法 栗田多喜夫 脳神経情報研究部門 産業技術総合研究所 E-mail: takio-kurita@aist.go.jp visitors since Feb. 14, 2001. 概要: 統計的手法は、画像 処理でも基本的な道具として、さまざまな場面で利用されている。本稿では、 基本的な統計的手法、特に、多変量データ解析手法および最近画像処理でも盛 んに使われるようになってきたロバスト統計、EMアルゴリズムやモデル選択手 法などの統計手法の考え方と画像処理への利用方法について、具体的な応用例 を示しながら概説する。
次へ: はじめに [チュートリアル講演] カーネルマシン 赤穂 昭太郎1 Shotaro Akaho s.akaho@aist.go.jp 概要: サポートベクタマシン (SVM) に代表されるカーネルを用いた学習機械について解説する. これらにほぼ共通しているのは,基本的に線形の学習機械の延長線上にあり, ローカルミニマムの問題などが少ないこと,それから,正則化を行うことにより 高い記述能力と汎化能力を両立していることが特長である. キーワード: サポートベクタマシン,正則化,スパースネス,数理計画法, 汎化 Kernel machines such as the support vector machine are reviewed. Most of them are not suffered from the local optimum problem, because they
次へ: はじめに サポートベクターマシン入門 栗田 多喜夫 Takio Kurita 産業技術総合研究所 脳神経情報研究部門 Neurosceince Research Institute, National Institute of Advanced Indastrial Science and Technology takio-kurita@aist.go.jp visitors since Jul. 19, 2002. 概要: 最近、サポートベクターマシン(Support Vector Machine, SVM)と呼ばれるパター ン認識手法が注目されており、ちょっとしたブームになっている。カーネルトリッ クにより非線形の識別関数を構成できるように拡張したサポートベクターマシン は、現在知られている多くの手法の中でも最も認識性能の優れた学習モデルの一 つである。サポートベクターマ
次へ: 序 論 有限混合分布モデルの学習に関する研究 (Web 版) 赤穂 昭太郎 2001 年 3 月 15 日学位授与(博士(工学)) 序 論 研究の背景と位置づけ 論文の構成 有限混合分布とその基本的性質 定義 モジュール性 階層ベイズモデルとの関係 パラメトリック性とノンパラメトリック性 RBF ネットワークとの関係 学習における汎化と EM アルゴリズム 最尤推定 汎化と竹内の情報量規準 (TIC) 汎化バイアス 竹内の情報量規準 (TIC) 冗長性と特異性 EM アルゴリズム 一般的な特徴 一般的な定式化 独立なサンプルが与えられた時の混合分布の学習 独立な要素分布の場合 サンプルに重みがある場合 EM アルゴリズムの一般化 EM アルゴリズムの幾何学的解釈 正規混合分布の汎化バイアスの非単調性について はじめに Radial Basis Boltzmann Machine (
混合分布に対する EM アルゴリズム (テスト バージョン) last ufpdated : 2001 Oct 12 与えられた学習データに最もフィットするように学習を行ないます. 学習には EM アルゴリズムを使っていますので, 必ずしも最適解には収束せず, 局所解につかまることもあります. EM アルゴリズムはこのような複数モジュールの学習に向いたアルゴリズムです. 使用法 "GaussMix" か "LineMix" を切替えると正規分布学習か 複数直線学習かを選べます. 画面中でクリックした点が学習データ点になります. "RandomPts"をクリックすると一様分布で点がばらまかれます. "ClearPts"をクリックすると点がクリアされます. 1 から 5 までで正規分布や直線の数を選びます. "InitKernels" を押すと正規分布や直線をランダムに初期化します. EM
次へ: Synopsis 柔らかな情報処理のための統計的手法の応用に関する研究 A STUDY ON APPLICATIONS OF STATISTICAL METHODS TO FLEXIBLE INFORMATION PROCESSING 栗田 多喜夫 Takio KURITA visitors since Jul. 19, 2002. Synopsis 序論 多変量データ解析の理論 はじめに 記号と定義 数量化法の非線形への拡張 数量化1類とその非線形への拡張 数量化2類とその非線形への拡張 非線形の数量化2類と数量化3類の関係 交差係数行列の固有値問題 数量化4類との関係 距離について 多変量データ解析手法の非線形への拡張 非線形重回帰分析 非線形判別分析 非線形正準相関分析 線形近似としての線形データ解析手法 条件つき確率の線形近似 近似としての重回帰分析および数量化1類 近似
次へ: パターン認識とは パターン認識とニューラルネットワーク 栗田多喜夫 脳神経情報研究部門 産業技術総合研究所 E-mail: takio-kurita@aist.go.jp visitors since Feb. 14, 2001. パターン認識とは ベイズ決定理論 ベイズ決定方式 正規分布の場合 確率密度分布の推定 パラメトリックモデル 最尤法 ベイズ推定 ノンパラメトリックな方法 ノンパラメトリックな確率密度関数の推定 核関数に基づく方法 K-NN法 セミパラメトリックな手法 混合分布モデル(Mixture Model) 最尤法 EM アルゴリスム 階層型ニューラルネット 多層パーセプトロン 単純パーセプトロン 単純パーセプトロンの学習 多層パーセプトロン 誤差逆伝搬学習法 最尤推定としての定式化 多層パーセプトロンと非線形回帰 汎化性 情報量基準による汎化能力の評価 VC次元
このページは筆者が 東京大学工学系研究科計数工学専攻で 博士(工学)を論文博士で取得した際の 個人的な経験に基づくものであり,内容の正確さについては 保証できません. あくまで参考程度にお読みください. また,お寄せ頂いた質問やコメントに応じて改定していく予定です のでお気軽にお聞かせください. (2001.1.18作成, 2001.3.28 更新,2001.4.23 とりあえず完結, 2003.1.14 リンク集追加など少し改訂, 2003.3.28 若干の追加), 2005.4.11 リンク集追加 目次 学位(博士号)とは スタートラインに着くまで (〜2000.1.24) 手続き的な注意 論文作成 (〜2001.6.22) 予備審査 (〜2001.9.14) 論文提出 (〜2001.11.13) 本審査 (〜2001.01.17) 本審査以後学位授与まで (〜2001.04) おま
このページを最初にブックマークしてみませんか?
『www.neurosci.aist.go.jp』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く