タグ

ブックマーク / www.neuro.sfc.keio.ac.jp/~masato (2)

  • 最急降下法

    最急降下法 戻る ニューラル関連の学習則は,この方法を使っていることが多い.バックプロパゲーションだって最急降下法だし,ホップフィールドモデルだって最急降下法を使ってる. エネルギー関数最小化(または最大化)を目的とする問題では,パラメータ逐次更新の方法として最急降下法を使うのが常套手段だ.理屈さえ分かれば,それほど難しい話ではないからね. 最急降下法: まず最小化(または最大化)すべき基準となる,ある関数が与えられているとする.この関数を最小化(または最大化)するようなを求めるのが目的なのだが,まずに適当な初期値を与え,次のような方法でを逐次更新していく. (を最小化する場合) (を最大化する場合) ここでは 1 より小さな正の値とする. で,なんでこの方法で関数を最小化(または最大化)できるのかというと,図で説明するとこんな感じになる(最小化に関して説明する).

  • 線形SVM 〜 詳細説明 〜

    線形SVM 〜 数式の説明 〜 戻る 前ページで線形SVMのコーディングに必要な式を紹介したけれど,それだけでは納得できん,中身までちゃんと教えてくれ,という向きには,このページでちゃんと説明する. 前ページの再掲になるけれど,線形識別関数を次のように定義する. ただし. (1.1) は入力ベクトル,ベクトルおよびスカラーは識別関数を決定するパラメータ. 学習データは個与えられているとし,と表す.これらのデータを2つのクラスおよびに分離することを考える.この学習データ集合に対して,が次の条件を満たすようにパラメータを調節することを考える. (1.2) (OpenOfficeの数式ツールで左括弧ってどうやって出すの?) ところで,点から分離境界との距離はとなる(どうしてそうなるかって?それは自分で考えてみてね). ということは,(1.2)式を満たす識別関数において,学

  • 1