kent-where-the-light-isのブックマーク / 2018年2月3日

kent-where-the-light-is id:kent-where-the-light-is

2018年2月3日のブックマーク (2件)

「ゼロから作るDeep Learning」を読んだ（後編） - 不確定な世界
前回から引き続き、「ゼロから作るDeep Learning」の読書メモ。４章　ニューラルネットワークの学習損失関数２乗差誤差はわかりやすいが、交差エントロピー誤差は直感的に意味を把握しにくい。しかしソフトマックス関数と組み合わせて使うことを考慮に入れると、幾分か理解が進んだ。第３章で学んだ通り、ソフトマックス関数は確率を出力する。確率のlogを取るとエントロピーと呼ばれる量になるのは情報理論の基礎中の基礎だが、考えてみると誤差とエントロピーは非常に似た概念なのだ。情報エントロピーはよく「何かデータを得た時の驚き具合」のことだと説明される。正解ラベルを提示されたとき、元々「これが答えである確率は非常に高い」と推論していたなら驚きは少ないが、「これが答えである確率は低い」と推論していたのだったら正解を知った時の驚きは大きい。この驚きを誤差と同一視しているのだろう。さらに言えば、ここ
kent-where-the-light-is 2018/02/03
“後から気づいたが、絶対値や２乗では単調増加にならないので、常に正かつ単調増加となると自然に指数関数に到達する。また、情報理論だとエントロピーの底を２にするのが自然なので、ソフトマックス関数に使う指数
リンク
雑記：交差エントロピーって何 - クッキーの日記
機械学習をしているとよく交差エントロピーを最小化させられると思います。でも冷静に考えると交差エントロピーが何かよくわかりませんでした。むしろエントロピーがわかりませんでした。以下の記事を読み、もっと無理がない例で短くまとめたかったのですが、やはり例に無理があり、長くなってしまいました。参考文献情報理論を視覚的に理解する (1/4) | コンピュータサイエンス | POSTD 情報理論を視覚的に理解する (2/4) | コンピュータサイエンス | POSTD 情報理論を視覚的に理解する (3/4) | コンピュータサイエンス | POSTD 情報理論を視覚的に理解する (4/4) | コンピュータサイエンス | POSTD ニューラルネットワークと深層学習以下はこれら記事の劣化アレンジです。 A国、B国、C国があります。 A国では、一日の天気は25%ずつの確率で晴れ、曇り、雨、雪にな
kent-where-the-light-is 2018/02/03
“交差エントロピーは Q=PQ=PQ=P のときに最小となるので、分類器を学習して QQQ を PPP に近づくよう改善していく作業は、正解の分布に合わせてエンコードを最適化しようとする作業に似ています。”
リンク
- 2018年2月4日
- 2018年2月3日
- 2018年2月1日