サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
都知事選
www.neurosci.aist.go.jp/~akaho
カーネル法Wiki † このページで紹介するのは統計的な学習の話で出て来る、カーネル関数を使ったデータ解析法の話です。 linux カーネルとかのカーネルではありません,念のため。 カーネル法の代表格として SVM (サポートベクターマシン・サポートベクトルマシン)などがあります。 岩波書店「カーネル多変量解析」サポートページ 2008 年 11 月 27 日発売予定! 赤穂によるカーネル法の解説記事 森北出版「学習システムの理論と実現」など コラム (朱鷺の杜ブログより) 外部リンク 朱鷺の杜Wiki, カーネルの説明 WikiPediaの解説 kernel-machines.org 赤穂昭太郎のホームページ
統計科学のフロンティアに続く新シリーズとして企画された新シリーズ確率と情報の科学シリーズ の第1巻として出版される「カーネル多変量解析」のサポートページです. カーネル法によるデータ解析は今や生命情報科学やデータマイニングの分野では標準である.しかし文字列やグラフ解析など別分野に適応できるように自身で設計しようとすると容易ではない.本書は,カーネル法という多変量解析の底に流れる基本的な考え方を紹介して,読者自身が設計を行う際の道標になるような内容をめざす.(岩波書店紹介文より)
www.neurosci.aist.go.jp/~kurita
上述のように自己相関関数はパワースペクトルと密接な関係があり、定常時系 列データの有効な特徴の一つである。大津等[53]は、画像の認識や 計測のために有効な基本的な画像特徴として、自己相関関数を拡張た高次局所 自己相関特徴を提案し、それらの特徴を多変量データ解析手法を用いて統合し て有効な特徴抽出する画像計測・認識手法を提案した。具体的な応用例につい ては多変量データ解析手法の説明のところで述べるが、ここでは、その準備と して高次局所自己相関特徴について説明しておく。 自己相関関数の高次への拡張は、高次自己相関関数と呼ばれている[45]。 参照点 での対象画像の輝度値を とすと、 次自己 相関関数は、参照点周りの 個の変位 に対して、 で定義される。高次自己相関関数は、次数 や変位 の取り方により無数に定義できるが、画像デー タでは、一般に、近くの画素間の局所的な相関の方が重要であ
統計的画像処理手法 栗田多喜夫 脳神経情報研究部門 産業技術総合研究所 E-mail: takio-kurita@aist.go.jp 概要 統計的手法は、画像処理でも基本的な道具として、さまざまな場面で利用されている。本稿では、基 本的な統計的手法、特に、多変量データ解析手法および最近画像処理でも盛んに使われるようになってき たロバスト統計、EM アルゴリズムやモデル選択手法などの統計手法の考え方と画像処理への利用方法に ついて、具体的な応用例を示しながら概説する。 1 はじめに 統計的手法は、画像処理でも基本的な道具として、さまざまな場面で利用されている。本稿では、基本 的な統計的手法の考え方と画像処理への利用方法について概説する。特に、重回帰分析、主成分分析、判 別分析などの基本的な多変量データ解析手法および最近画像処理でも盛んに使われるようになってきたロ バスト統計、EM
次へ: Synopsis 柔らかな情報処理のための統計的手法の応用に関する研究 A STUDY ON APPLICATIONS OF STATISTICAL METHODS TO FLEXIBLE INFORMATION PROCESSING 栗田 多喜夫 Takio KURITA visitors since Jul. 19, 2002. Synopsis 序論 多変量データ解析の理論 はじめに 記号と定義 数量化法の非線形への拡張 数量化1類とその非線形への拡張 数量化2類とその非線形への拡張 非線形の数量化2類と数量化3類の関係 交差係数行列の固有値問題 数量化4類との関係 距離について 多変量データ解析手法の非線形への拡張 非線形重回帰分析 非線形判別分析 非線形正準相関分析 線形近似としての線形データ解析手法 条件つき確率の線形近似 近似としての重回帰分析および数量化1類 近似
サポートベクターマシンは、ニューロンのモデルとして最も単純な線形しきい 素子を用いて、2クラスのパターン識別器を構成する手法である。訓練サンプル 集合から、「マージン最大化」という基準で線形しきい素子のパラメータを学習 する。線形しきい素子は、図1に示すようなニューロンを単 純化したモデルで、入力特徴ベクトルに対し、識別関数(線形識別関数) により2値の出力値を計算する。ここで、 はシナプス荷重に対応するパ ラメータであり、はしきい値である。また、関数 は、のときをとり、のときをとる符号関数である。このモデルは、 入力ベクトルとシナプス荷重の内積がしきい値を超えればを出力し、超えな ければを出力する。これは、幾何学的には、識別平面により、入力特徴空間 を2 つに分けることに相当する。今、2つのクラスを,とし、各クラス のラベルをとに数値化しておくとする。また、訓練サンプル集合として、 個の
サポートベクターマシン入門 栗田 多喜夫 Takio Kurita 産業技術総合研究所 脳神経情報研究部門 Neurosceince Research Institute, National Institute of Advanced Indastrial Science and Technology takio-kurita@aist.go.jp 平成 14 年 7 月 18 日 概 要 最近、サポートベクターマシン (Support Vector Machine, SVM) と呼ばれるパターン認識 手法が注目されており、ちょっとしたブームになっている。カーネルトリックにより非線形の識 別関数を構成できるように拡張したサポートベクターマシンは、現在知られている多くの手法の 中でも最も認識性能の優れた学習モデルの一つである。サポートベクターマシンが優れた認識性 能を発揮できるのは、未学習
次へ: まえがき 索引 [オーガナイズド講演] 確率モデルと集団最適化入門 Introduction to statistical models for populational optimization 赤穂 昭太郎 1 Shotaro Akaho 概要: This paper provides an introductory review of populational search methods based on statistical modelling. We start with a random search algorithm called Markov Chain Monte Carlo (MCMC). To solve an optimization problem, it is crucial for the performance to use spec
脳神経情報研究部門 脳神経情報研究部門 講義の概要 人間は、経験を通して外界の多様な情報を知識として要約し、それらを利用すること により、さまざまな状況や問題に対して柔軟かつ適応的に対処していくことができ る。 知的情報処理のための確率統計手法 汎化性能の高い非線形識別器の学習と画像認識への応用 情報処理技術は、このような人間の高度で柔軟な知的情報処理能力を機械によって 実現することを目指す試みである。知的情報処理の機械による実現の試みは、 まず、必要な情報が完全に与えられ、しかも、対象を完全に記述できるような問 題に対して、フォン・ノイマン型計算機上で処理手順をプログラムとして陽に記述 する方式として発達した。そうした完全情報の逐次計算による厳密処理は、ハー ドウェア技術の驚異的な発展とソフトウェア技術の進歩に支えられて、今日の情 報処理技術の主要な部分を占めるに至っている。
情報幾何と機械学習 赤 穂 昭 太 郎* *(独) 産業技術総合研究所 脳神経情報研究部門,茨城県つくば市梅園 1–1–1 中央第 2 *The National Institute of Advanced Industrial Science and Technology, Central 2, 1–1–1 Umezono Tsukuba-shi Ibaraki 305–8568, Japan *E-mail: s.akaho@aist.go.jp キーワード 微分幾何(differential geometry) : ,双対性(duality) ,平坦空 ,射影(projection) ,確率モデル(probabilistic model) , 間(flat space) 統計的推定(statistical inference) JL 002/02/4202–0086 c 2002 SI
ここでは、 枚の顔画像のうちの 番目の画像を、各画素の値をならべた 次元のベクトル として表現する。また、 枚の画像の平均ベ クトルを とし、各画像か ら平均ベクトルを引いたベクトルを で表し、各画像から平均ベクトルを引いた画像の集合を行列 で表す。 画像集合を平均2乗誤差の意味で最適に近似する正規直交基底 は、主成分 分析(KL展開)を用いて構成することができる。 まず、ある正規直交基底 が与えられたとき、ある画像 の の列の張る空間への射影
本論文では,学習という用語を統計モデルのパラメータ推定の意味で用いる. 混合分布の学習法としては,モーメント法など種々の方法が知られているが, 最も一般性があるのは尤度を最大にする最尤推定法である. 最尤推定は多くの場合計算が 簡単であり,(正則条件のもとで)漸近有効性をもつので,広く用いられている. 本章では,まず混合分布の最尤推定について述べ, 汎化能力を評価するための尤度のバイアスに関する知見を整理する. 次に,混合分布の学習アルゴリズムとして EM アルゴリズムを取り上げ,従来行われてきた研究の概要と本論文で必要と する事項のまとめを行う. Subsections 最尤推定 汎化と竹内の情報量規準 (TIC) 汎化バイアス 竹内の情報量規準 (TIC) 冗長性と特異性 EM アルゴリズム 一般的な特徴 一般的な定式化 独立なサンプルが与えられた時の混合分布の学習 独立な要
次へ: はじめに ニューラルネット入門 栗田多喜夫 脳神経情報研究部門 産業技術総合研究所 E-mail: takio-kurita@aist.go.jp visitors since Feb. 19, 2001. はじめに 最急降下法 最小2乗法 パーセプトロン ADALINE ロジスティック回帰モデル 最尤法 多層パーセプトロン 誤差逆伝搬学習法 この文書について... 平成14年7月19日
顔画像の認識でまず考えられるのは、目・鼻・口などの顔を構成する部品の形 状やそれらの配置の個人差に着目し、これらから特徴点を抽出して認識に利用 する方法である。しかし、顔画像からこれらの部品を精度よく抽出することは かなり難しい。また、各部品がうまく抽出できたとしても、類似した形状の差 を認識に利用することはそれほど容易ではない。そこで、このような顔に特有 の知識を用いるのではなく、顔画像そのものをパターンとして扱い、統計的パ ターン認識手法を適用する方向の研究が活発に行われている。 最も簡単なパターン認識手法は、パターン間のマッチングに基づく方法である が、画像そのものをパターンとして扱った場合には、パターンの次元が膨大に なってしまう。そのため、パターンを情報圧縮した後でマッチングを行う方法 がいくつか提案されている。パターンを情報圧縮すれば、入力条件の変動に対 して頑健な認識結果が得
栗田 多喜夫 産業技術総合研究所 脳神経情報研究部門 takio-kurita@aist.go.jp
次に、より一般的な多次元のデータのクラスタリングアルゴリズムについて考察する。 多次元データのクラスタリングアルゴリズムは、似たもの同士を併合していくつかの グループにまとめて行く階層的なクラスタリング (hierarchical clustering method) と、似たものが結果的に同じグループに入るように集合を分割する非階層的クラスタ リング (non-hierarchcal clustering method) とに大別して考えることができる。 非階層的クラスタリングの代表例は、k-mean法である。k-mean法は、ある初期分割か らはじめて、ある評価基準の意味で良い分割結果が得られるように対象を分類しなお すことを繰返して、最終的な分割結果を得る。k-mean法およびその改良版はアルゴリ ズムが比較的簡単なため、多くの場面で応用されている。例えば、ベクトル量子化器 の設計
EM アルゴリズムは,観測できない隠れたパラメータが存在する時に最尤推定 を行うための汎用手法であり,混合分布以外にも隠れマルコフモデルやグラ フィカルモデルの学習に応用されている. EM アルゴリズムは Newton 法(ある いは Fisher のスコアリング法)や勾配法と同様,反復法によって局所最適解を求めるア ルゴリズムであるが,他の手法に比べて次のような長所をもつ [30,69,53,84]. 尤度が単調に増加することが保証されており,アルゴリズムの振る舞い が安定している. 前節で述べたように,混合分布では尤度が無限大になる無 意味な解が存在するので,アルゴリズムの安定性は重要である. 速度に関しても収束の初期の段階では Newton 法と同程度の速さになる ことが知られている(ただし,最適解の近傍では 1 次収束なので種々の加速 法が考案されている). インプリメンテー
商標・意匠図形を対象とした画像データベースシステムにおいては、例示画をキーと して類似画を検索できることがヒューマンインターフェースとして基本的かつ重要な 機能である。例えば、ある図形を新たに商標として登録する場合には、類似した図形 が既に商標として登録されているかどうかを調べる必要がある。現在、このような類 似性の判定を含めた検索作業は、専門家が図形に割当てたキーワードと目視検査によ り行なっている。商標として登録したい図形をシステムに例示して類似した図形を検 索できれば、画像データベースシステムを使って判定を自動化できる。 ここでは、例示画をキーとした主観的な類似画検索の手法について考察する。例示画 をキーとした類似画の検索では、システムは例示画から何等かの画像特徴を抽出し、 例示画とデータベース中の画像がどれくらい似ているかを評価する必要がある。その 評価には、各利用者の感じる主観的
www.neurosci.aist.go.jp
赤穂 昭太郎 のホームページへようこそ [English] 産業技術総合研究所 (産総研, AIST : 2001/4 より独立行政法人化) 脳神経情報研究部門 情報数理研究グループ Phone: 029-861-5549 Fax: 029-861-5841 E-mail: s ドット a k a h o あっとマーク a i s t ドット g o ドット j p URL(オフィシャル): http://staff.aist.go.jp/s.akaho/index-j.html プロフィール 研究 解説・論文リスト 論文博士 朱鷺の杜Wiki・ blog 混合分布とEMアルゴリズムのJava アプレット カーネルマシン 早稲田大学理工学部「パターン認識」サポートページ イントラホーム(産総研内のみ) お知らせ 赤穂のプライベートなページは http://www.
次へ: はじめに 統計的画像処理手法 栗田多喜夫 脳神経情報研究部門 産業技術総合研究所 E-mail: takio-kurita@aist.go.jp visitors since Feb. 14, 2001. 概要: 統計的手法は、画像 処理でも基本的な道具として、さまざまな場面で利用されている。本稿では、 基本的な統計的手法、特に、多変量データ解析手法および最近画像処理でも盛 んに使われるようになってきたロバスト統計、EMアルゴリズムやモデル選択手 法などの統計手法の考え方と画像処理への利用方法について、具体的な応用例 を示しながら概説する。
から、であることがわかります。実際、式(1)の にを代入してみると、 となります。評価関 数は以上の関数(非負の関数)であることから、で最小値 を取ることが確かめられます。 最急降下法 最急降下法は、ある適当な初期値(初期パラメータ)からは じめて、その値を繰り返し更新する(修正する)ことにより、最適なパラメータ の値を求める方法(繰り返し最適化手法)の最も基本的で簡単な方法です。 問題1のような評価関数が最小となるパラメータを求める問題では、最急降下 法でのパラメータの更新は、 のようになります。ここで、 は、 回目の繰り返して得られたパ ラメータの推定値で、 は、での評価関数のパラメータに関する微分値です。 また、は、1回の繰り返しでどれくらいパラメータを更新するかを制 御する小さな正の定数で、学習係数と呼ばれたりします。つまり、最急降下法 では、パラメータの値を微分値と逆の方向にちょ
次へ: パターン認識とは パターン認識とニューラルネットワーク 栗田多喜夫 脳神経情報研究部門 産業技術総合研究所 E-mail: takio-kurita@aist.go.jp visitors since Feb. 14, 2001. パターン認識とは ベイズ決定理論 ベイズ決定方式 正規分布の場合 確率密度分布の推定 パラメトリックモデル 最尤法 ベイズ推定 ノンパラメトリックな方法 ノンパラメトリックな確率密度関数の推定 核関数に基づく方法 K-NN法 セミパラメトリックな手法 混合分布モデル(Mixture Model) 最尤法 EM アルゴリスム 階層型ニューラルネット 多層パーセプトロン 単純パーセプトロン 単純パーセプトロンの学習 多層パーセプトロン 誤差逆伝搬学習法 最尤推定としての定式化 多層パーセプトロンと非線形回帰 汎化性 情報量基準による汎化能力の評価 VC次元
カーネルマシン このページで紹介するのは統計的な学習の話で出て来る、カーネル関数を使った 学習機械の話です。 linux カーネルとかのカーネルではありません。 念のため。 カーネルマシンの代表格として SVM (サポートベクターマシン・ サポートベクトルマシン)、 GP (ガウシアンプロセス、正規過程) などがあります。 チュートリアル 電子情報通信学会ニューロコンピューティング研究会チュートリアル講演 赤穂:カーネルマシン, 信学技報 NC-2003-34 PDF file | PS file | HTML (この原稿には図がありません. 忍耐強く読んでください^^;) 印刷版からのミスプリ 発表スライド PDF file | PS file (こちらはイラストつきです^^) リンク集 www.kernel-machines.org: カーネルマシン関係が充実してます.
次のページ
このページを最初にブックマークしてみませんか?
『www.neurosci.aist.go.jp』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く