交差エントロピーの検索結果1 - 3 件 / 3件

• あとで読む

  交差エントロピー誤差をわかりやすく説明してみる - Qiita

  • 9 users
  • qiita.com/kenta1984
  • テクノロジー
  • 2020/03/03

  ※コメントで説明の一部に誤りを指摘頂いたので記事を修正しました（2020/3/30） 教師あり機械学習では必須の損失関数。 教師あり機械学習の場合、学習するというのは損失関数の値を小さくする事とほぼ同義になります。 損失関数について詳しく知りたい方は、最適化から見たディープラーニングの考え方という論文をご覧下さい。 損失関数に限らず、損失関数の最適化手法や活性化関数などについてもわかりやすく説明されています。 そして、損失関数には幾つもの種類がありますが、交差エントロピー誤差は有名な損失関数の一つです。 本記事では、交差エントロピー誤差をわかりやすく説明してみます。 なお、英語では交差エントロピー誤差のことをCross-entropy Lossと言います。Cross-entropy Errorと表記している記事もありますが、英語の文献ではCross-entropy Lossと呼んでいる記事

  • 機械学習
  • 交差エントロピー

  
• あとで読む

  ED法+交差エントロピーをTF/Torchで実装してみた（おまけでBitNet×ED法を検証） - Qiita

  • 4 users
  • qiita.com/pocokhc
  • テクノロジー
  • 2024/05/04

  ED法の記事その３です。 その１：金子勇さんのED法を実装してMNISTを学習させてみた その２：ED法を高速化してその性能をMNISTで検証してみた もう記事を書く予定はなかったんですが、思ったより頭から離れなかったので記事に起こしました。 今回はED法をTorchとTFで実装し交差エントロピーとReLUを実装しました。 なので正規のMNISTを学習してみたいと思います。 最後にBitNet×ED法を試して考察しています。 本記事を含めたED法のコードをGithubに作成しました。 追加の実装 ED法+交差エントロピー まずは今までの平均二乗誤差（MSE;Mean Squared Error）のイメージです。 MSEのlossは（正解データ-出力）で表され、それをED法で学習します。 次に交差エントロピーのイメージです。 各出力に対してED法ニューラルネットを作成し、その出力達をsoft

  
• あとで読む

  交差エントロピーについて基本的な考え方をまとめてみました | アシアルブログ

  • 3 users
  • blog.asial.co.jp
  • 学び
  • 2020/01/10

  こんにちは。 Monaca開発チームの内藤です。 交差エントロピーという関数をご存知でしょうか？ 機械学習における分類問題やロジスティック回帰などで評価関数として利用されることの多い関数で、次のような形をしています。 でもこれ、なんかちょっと、ヘンテコな形の式ですよね。 log とか出てきますし、、。あまり普段は見かけない形の関数です。 よく使われる関数であるわりに、なかなかまとまった解説がないようなので、今回はこの交差エントロピーについて、基本的な事項についてまとめてみました。 （交差でない普通の）エントロピーについて 普通のエントロピーは、情報量とも呼ばれていて という形をしています。これは、（定数倍を除いて）データの平均量を表しています。（なお、この定義は情報理論で定義されているエントロピーであり、単位はありません。エントロピー自体はもともと統計力学で最初に導入されたもので、こちらは