高次元データの次元削減および2次元プロット手法 - Qiita
はじめに 本記事はPython2.7, numpy 1.11, scipy 0.17, scikit-learn 0.18, matplotlib 1.5, seaborn 0.7, pandas 0.17を使用しています． jupyter notebook上で動作確認済みです．(%matplotlib inlineは適当に修正してください) SklearnのManifold learningの記事を参考にしています． 多様体学習と言われる手法について，sklearnのdigitsサンプルを用いて説明します． 特にt-SNEはKaggleなどでもたまに使用されている，多次元データの可視化に適した手法です． また可視化だけでなく，元のデータと圧縮されたデータを結合することで，単純な分類問題の精度を向上することができます． 目次 データの生成 線形要素に注目した次元削減 Random Proj
勾配消失問題とは？
ホーム < ゲームつくろー！ < IKD備忘録 VisualStudio + Pythonでディープラーニング 勾配消失問題とは？ (2019. 12. 5) 前章でKerasでデフォルトで使える活性化関数をざっと紹介しました。その中で度々「勾配消失問題がおこりやすい」などと解説を入れました。他のニューラルネットワークの解説サイトでも目にするこの「勾配消失問題（Vanishing Gradient Problem）」。いったいどういうものなのでしょうか？ ① 何時まで経っても賢くならない問題 ニューラルネットワークでは与えられた入力刺激値から良い感じの出力刺激値を出してくれるようにニューロンの働きを調節する必要があります。具体的には入力刺激に変化を与える活性化関数A(x)、その結果をスケールする重みwを調整します。活性化関数は基本学習前に手動で与える物なので使い手の自由ですが、各ニューロン
なぜ交差(クロス)エントロピーが機械学習（ニューラルネットワーク）の損失関数に使われるのか？
交差エントロピーの意味 まず交差エントロピーは、以下の式で表されます。 $$E=-\sum_{k}{{q(k)}log(p(k))}$$ pは、ニューラルネットワークで学習された確率。分類問題では学習データの正解率として出力されます。 qは、教師データの確率。１（１００％）と０（０％）で出力されます（詳しくは後述） ちょっと数学チックに言うと、「確率分布pと確率分布qの近似性を表現する関数」と言うことになります。 この性質から、機械学習の損失関数に交差エントロピーが採用されています。 ちなみに、「交差」というのは２つの確率分布pとqを組み合わせていることに由来しているらしい。 さらに、分類問題で使う際にはシグマのない非常にシンプルな数式になります。 $$E=-log(p(k))$$ 分類問題の場合、教師データは全て0と1になります。つまり０％か１００％かという二択になるということ。 例えば
雑記： 交差エントロピーって何 - クッキーの日記
機械学習をしているとよく交差エントロピーを最小化させられると思います。 でも冷静に考えると交差エントロピーが何かよくわかりませんでした。むしろエントロピーがわかりませんでした。 以下の記事を読み、もっと無理がない例で短くまとめたかったのですが、やはり例に無理があり、長くなってしまいました。参考文献 情報理論を視覚的に理解する (1/4) | コンピュータサイエンス | POSTD 情報理論を視覚的に理解する (2/4) | コンピュータサイエンス | POSTD 情報理論を視覚的に理解する (3/4) | コンピュータサイエンス | POSTD 情報理論を視覚的に理解する (4/4) | コンピュータサイエンス | POSTD ニューラルネットワークと深層学習 以下はこれら記事の劣化アレンジです。 A国、B国、C国があります。 A国では、一日の天気は25%ずつの確率で晴れ、曇り、雨、雪にな
Softmax関数をベースにした Deep Metric Learning が上手くいく理由 - Qiita
はじめに Deep Learningを使った距離学習（Metric Learning）では、Contrastive LossやTriplet Lossなどを用いて、画像間の類似性（や非類似性）を直接学習していく方法が広く利用されていますが、学習データの組み合わせや選び方が難しく、学習自体が難航するケースが多い事も知られています。それだけに、これまで様々な改良と工夫が提案されています。 しかし、最近はこのような学習データ選びに難航することなく、一般的なクラス分類タスクの感覚で、Softmax関数をベースに学習できるMetric Learningが注目を浴びています。ArcFaceなどはその代表的手法でこちらで詳しく説明されています。 Softmax関数をベースにしたMetric Learningがうまくいく理由、またさらなる改良の余地はあるのか？これらに関して少し紹介しようと思います。 Ce
softmax関数を直感的に理解したい - Qiita
はじめに 最近ディープラーニングが盛り上がっていますね。その中でもディープラーニングをはじめとする機械学習に出てくるような本を読んでいるとよく出てくるsoftmax関数 があります。最近本を読んでいたらこいつが登場し、そろそろちゃんと理解しようと思ったのでその考察をシェアします。 本題 結論からいうと、softmax関数を3Dグラフにプロットするとこうなります。 （実際、この結果が見たくてググったがなかなかヒットせず） これは$x_1, x_2$の値がともに$[-5, 5]$である状況で$i=2$に関するsoftmax関数 の挙動をプロットしたものになります。このグラフを観察するとわかることが2点あります。これから個別に見ていきます。 値域（関数の取りうる値）が0から1の間である これがよくsoftmax関数の利点として挙げられていることです。もちろん数学的に示すことも可能です。この点では
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
