サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
おみそ汁
www.iwanttobeacat.com
ベクトルの微分の定義 スカラを返す関数において、ベクトルでの微分係数は以下のように定義されます。 ベクトル,に対して、ですから、式(1)の定義と、転置行列の定理の式(5)より、 となることがわかります。で微分すれば、その係数のみ残りますので、解はk番目の成分がのベクトル、つまりになります。 2次形式の微分 次に2次形式の微分を考えます。はスカラになりますから、微分は式(1)の定義に従えばよいです。また、がn次元なら、が計算可能な行列Aは、n×nの正方行列です。 行列Aを とすれば、 となりますから、 です。 ここでk番目の成分での微分を考えると、積の微分公式より となります。(で微分すれば、それぞれi=k、j=k以外の成分は消えます) ここで、式(7)を見ますと、前半の項はのk番目の成分であり、後半の項はのk番目の成分になっていますから、これをk=1~nまで並べれば、になることがわかります
"二乗法"なんだから"二乗和"だろうという話ではなく。最小二乗法は、誤差の二乗和を計算するわけですが、そもそもなんで二乗するのか?絶対値ではダメなのか?和ではなく積ではダメなのか?疑問に思ったことはないでしょうか。大きな理由は2つあるそうです。 そもそも二乗和誤差以外だと、解析的に解が求められない 最尤推定という手法により、二乗和誤差を用いることが理論的に正当化される この2番目の話は、最初に知ったときは目からウロコでした。最尤推定について、概要だけ書きます。真の値からの誤差が、ある確率分布に従っていると仮定した場合、各々のデータの誤差が発生する確率を最大化するような解を求める→最尤推定と呼びます。(最尤推定について:線形回帰を最尤推定で解く(尤度とは?))そしてこの確率分布を正規分布と仮定して解を求めると、なんと最小二乗法で求める解と等しくなります。つまり最小二乗法は、誤差が正規分布に従
多クラスの確率的生成モデルを考えたときに出てきたソフトマックス関数の微分を計算します。 ソフトマックス関数は でした。を考えます。 のとき、分数の微分公式より となります。のときも同様に分数の微分公式より となります。式(3)、(6)を単位行列の要素(のときに1、のときに0)を用いてまとめて書けば、 となります。シグモイド関数の微分とよく似た形となりました。
確率分布からサンプリングしたいが、正規分布や一様分布のようにライブラリが提供されていない場合にどうするか?逆関数法もその1つですが、棄却サンプリングはより直感的な手法です。 棄却サンプリングの原理 確率分布はを満たすべきですが、正規化定数が不明で、 ののみ既知である場合を考え、このからサンプリングしたいとします。もちろん正規化定数も既知でも問題ないのですが、おそらく不明の場合のほうが一般的だろうと思われます。 ここで全てのに対して を満たす定数およびを定めます。このは与えられたものではなく、サンプリング時に設定するもので提案分布と呼びます。提案分布はサンプリングできるものを選択します。 視覚的には上図のように、を覆うようにおよびを定めます。具体的なサンプリングの手順はとてもシンプルです。 棄却サンプリングの手順 からをサンプリングする の確率でを採択し、採択できなければ再びから新たなサンプ
最小二乗法による線形回帰において、訓練データ数に対して近似式の表現能力が高すぎると過学習が発生します。(参考:線形回帰を最小二乗法で解く) それに対し、係数が大きくなることに対してペナルティを与えることで過学習を防止する方法があります。(参考:正則化最小二乗法) 今回は、そのペナルティ(正則化項)を加えることの数学的な意味を確認したいと思います。 正則化最小二乗法で書いた通り、正則化項は で表されます。ここで、の制約条件において、二乗和誤差 の最小値を求める問題を考えます。とすると、制約条件および二乗和誤差は凸関数ですから、不等式制約におけるラグランジュの未定乗数法(KKT条件)より、 の条件の元で を解けば、解が求められます。*1 さて、式(6)においてはに依存しませんから、これをで偏微分してみると、二乗和誤差に正則化項を加えた をで偏微分するのと同じ式が得られます。今、正則化項において
このページを最初にブックマークしてみませんか?
『機械学習に詳しくなりたいブログ』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く