多層パーセプトロンの動きを可視化する - StatsFragments
概要 多層パーセプトロン記事の補足。下の記事の最後で、入力されたデータを隠れ層で線形分離しやすい形に変換している、ということを確かめたかったが、MNIST データでは次元が高すぎてよくわからなかった。ということで、もうちょっとわかりやすい例を考える。 可視化シリーズとしては以下の記事のつづき。 ロジスティック回帰 (勾配降下法 / 確率的勾配降下法) を可視化する - StatsFragments 多層パーセプトロンとは 詳細は上記の記事参照。この記事では、以下のような多層パーセプトロンを例とする。 入力層のユニット数が 2 隠れ層のユニット数が 3 出力層のユニット数が 2 つまり、入力層として 2 次元のデータを受けとり、隠れ層で 3 次元空間へ写像してロジスティック回帰 ( 出力は2クラス ) を行う。 サンプルデータ 2 次元で線形分離不可能なデータでないとサンプルの意味がない。こ
numpyでのKLダイバージェンスとJensen-Shannonダイバージェンスの実装 | Vingow 開発チームブログ
scipyには距離を測るための手続きが用意されています(scipy.spatial.distance)。ユークリッド距離やcosine距離(cosine類似度)などもあるのですが、確率分布間の距離とも言うべきKLダイバージェンスやJensen-Shannonダイバージェンスなどは実装されていません。ということで、実装してみました。 実装コードだけ見たいという場合は、最後まで読み飛ばしてください。 KLダイバージェンスとJensen-Shannonダイバージェンスについて KLダイバージェンス(カルバック・ライブラー情報量; Kullback–Leibler divergence; 相対エントロピー)とは、分布と分布の差異の大きさ(≠距離)を測るものです。分布と分布があったとき、のに対するKLダイバージェンスは で定義されます。また、クロスエントロピーを使って と定義することもできます。クロ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
