はてなブックマーク

統計的画像処理手法 栗田多喜夫 脳神経情報研究部門 産業技術総合研究所 E-mail: takio-kurita@aist.go.jp 概要 統計的手法は、画像処理でも基本的な道具として、さまざまな場面で利用されている。本稿では、基 本的な統計的手法、特に、多変量データ解析手法および最近画像処理でも盛んに使われるようになってき たロバスト統計、EM アルゴリズムやモデル選択手法などの統計手法の考え方と画像処理への利用方法に ついて、具体的な応用例を示しながら概説する。 1 はじめに 統計的手法は、画像処理でも基本的な道具として、さまざまな場面で利用されている。本稿では、基本 的な統計的手法の考え方と画像処理への利用方法について概説する。特に、重回帰分析、主成分分析、判 別分析などの基本的な多変量データ解析手法および最近画像処理でも盛んに使われるようになってきたロ バスト統計、EM

次へ: Synopsis 柔らかな情報処理のための統計的手法の応用に関する研究 A STUDY ON APPLICATIONS OF STATISTICAL METHODS TO FLEXIBLE INFORMATION PROCESSING 栗田 多喜夫 Takio KURITA visitors since Jul. 19, 2002. Synopsis 序論 多変量データ解析の理論 はじめに 記号と定義 数量化法の非線形への拡張 数量化１類とその非線形への拡張 数量化２類とその非線形への拡張 非線形の数量化２類と数量化３類の関係 交差係数行列の固有値問題 数量化４類との関係 距離について 多変量データ解析手法の非線形への拡張 非線形重回帰分析 非線形判別分析 非線形正準相関分析 線形近似としての線形データ解析手法 条件つき確率の線形近似 近似としての重回帰分析および数量化１類 近似

ここでは、 枚の顔画像のうちの 番目の画像を、各画素の値をならべた 次元のベクトル として表現する。また、 枚の画像の平均ベ クトルを とし、各画像か ら平均ベクトルを引いたベクトルを で表し、各画像から平均ベクトルを引いた画像の集合を行列 で表す。 画像集合を平均２乗誤差の意味で最適に近似する正規直交基底 は、主成分 分析（KL展開）を用いて構成することができる。 まず、ある正規直交基底 が与えられたとき、ある画像 の の列の張る空間への射影

顔画像の認識でまず考えられるのは、目・鼻・口などの顔を構成する部品の形 状やそれらの配置の個人差に着目し、これらから特徴点を抽出して認識に利用 する方法である。しかし、顔画像からこれらの部品を精度よく抽出することは かなり難しい。また、各部品がうまく抽出できたとしても、類似した形状の差 を認識に利用することはそれほど容易ではない。そこで、このような顔に特有 の知識を用いるのではなく、顔画像そのものをパターンとして扱い、統計的パ ターン認識手法を適用する方向の研究が活発に行われている。 最も簡単なパターン認識手法は、パターン間のマッチングに基づく方法である が、画像そのものをパターンとして扱った場合には、パターンの次元が膨大に なってしまう。そのため、パターンを情報圧縮した後でマッチングを行う方法 がいくつか提案されている。パターンを情報圧縮すれば、入力条件の変動に対 して頑健な認識結果が得

から、であることがわかります。実際、式(1)の にを代入してみると、 となります。評価関 数は以上の関数（非負の関数）であることから、で最小値 を取ることが確かめられます。 最急降下法 最急降下法は、ある適当な初期値(初期パラメータ)からは じめて、その値を繰り返し更新する(修正する)ことにより、最適なパラメータ の値を求める方法(繰り返し最適化手法)の最も基本的で簡単な方法です。 問題1のような評価関数が最小となるパラメータを求める問題では、最急降下 法でのパラメータの更新は、 のようになります。ここで、 は、 回目の繰り返して得られたパ ラメータの推定値で、 は、での評価関数のパラメータに関する微分値です。 また、は、1回の繰り返しでどれくらいパラメータを更新するかを制 御する小さな正の定数で、学習係数と呼ばれたりします。つまり、最急降下法 では、パラメータの値を微分値と逆の方向にちょ

次へ: パターン認識とは パターン認識とニューラルネットワーク 栗田多喜夫 脳神経情報研究部門 産業技術総合研究所 E-mail: takio-kurita@aist.go.jp visitors since Feb. 14, 2001. パターン認識とは ベイズ決定理論 ベイズ決定方式 正規分布の場合 確率密度分布の推定 パラメトリックモデル 最尤法 ベイズ推定 ノンパラメトリックな方法 ノンパラメトリックな確率密度関数の推定 核関数に基づく方法 K-NN法 セミパラメトリックな手法 混合分布モデル(Mixture Model) 最尤法 EM アルゴリスム 階層型ニューラルネット 多層パーセプトロン 単純パーセプトロン 単純パーセプトロンの学習 多層パーセプトロン 誤差逆伝搬学習法 最尤推定としての定式化 多層パーセプトロンと非線形回帰 汎化性 情報量基準による汎化能力の評価 VC次元

階層型ニューラルネットは、理論的には、中間層のニューロン数を多くすると、中間 層が１層のみのネットワークを用いて任意の関数を近似できる [31,34]。つまり、理論的には中間層のニューロン数を多くすると学 習データに対して平均２乗誤差のほとんど無いネットワークを構成することが可能で ある。しかし、中間層のニューロン数を多くすることによって学習データに対してい くら近似を良くしてもそのネットワークが未知データに対しても良い近似を与えると は限らない。これは，学習データには、一般に、本質的な情報と偶発的なノイズの両 方が含まれており、偶発的なノイズの情報をいくら精度良く学習しても本来の目的で ある未知データに対する近似を良くすることにはならないためである。 この問題に対して、Baumは、妥当な一般化能力を持つネットワークのサイズの上 限に関して VC 次元による考察を行なっている[14]。 一

次へ: はじめに 統計的画像処理手法 栗田多喜夫 脳神経情報研究部門 産業技術総合研究所 E-mail: takio-kurita@aist.go.jp visitors since Feb. 14, 2001. 概要: 統計的手法は、画像 処理でも基本的な道具として、さまざまな場面で利用されている。本稿では、 基本的な統計的手法、特に、多変量データ解析手法および最近画像処理でも盛 んに使われるようになってきたロバスト統計、EMアルゴリズムやモデル選択手 法などの統計手法の考え方と画像処理への利用方法について、具体的な応用例 を示しながら概説する。

次へ: はじめに ニューラルネット入門 栗田多喜夫 脳神経情報研究部門 産業技術総合研究所 E-mail: takio-kurita@aist.go.jp visitors since Feb. 19, 2001. はじめに 最急降下法 最小2乗法 パーセプトロン ADALINE ロジスティック回帰モデル 最尤法 多層パーセプトロン 誤差逆伝搬学習法 この文書について... 平成14年7月19日

次へ: はじめに サポートベクターマシン入門 栗田 多喜夫 Takio Kurita 産業技術総合研究所 脳神経情報研究部門 Neurosceince Research Institute, National Institute of Advanced Indastrial Science and Technology takio-kurita@aist.go.jp visitors since Jul. 19, 2002. 概要: 最近、サポートベクターマシン(Support Vector Machine, SVM)と呼ばれるパター ン認識手法が注目されており、ちょっとしたブームになっている。カーネルトリッ クにより非線形の識別関数を構成できるように拡張したサポートベクターマシン は、現在知られている多くの手法の中でも最も認識性能の優れた学習モデルの一 つである。サポートベクターマ

次へ: パターン認識とは パターン認識とニューラルネットワーク 栗田多喜夫 脳神経情報研究部門 産業技術総合研究所 E-mail: takio-kurita@aist.go.jp visitors since Feb. 14, 2001. パターン認識とは ベイズ決定理論 ベイズ決定方式 正規分布の場合 確率密度分布の推定 パラメトリックモデル 最尤法 ベイズ推定 ノンパラメトリックな方法 ノンパラメトリックな確率密度関数の推定 核関数に基づく方法 K-NN法 セミパラメトリックな手法 混合分布モデル(Mixture Model) 最尤法 EM アルゴリスム 階層型ニューラルネット 多層パーセプトロン 単純パーセプトロン 単純パーセプトロンの学習 多層パーセプトロン 誤差逆伝搬学習法 最尤推定としての定式化 多層パーセプトロンと非線形回帰 汎化性 情報量基準による汎化能力の評価 VC次元