2022年11月18日のブックマーク (1件)

  • 交差エントロピー誤差(クロスエントロピー)— 定義・情報理論・勾配・実装を完全解説 | 機械学習と情報技術

    ニューラルネットワークで「この画像はか犬か鳥か」を分類するとき、モデルの良し悪しをどう測ればよいでしょうか。単に「当たった/外れた」の正答率だけでは、学習を進めるための滑らかな手がかりになりません。「正解にどれだけ自信を持てたか」を連続的に評価し、外れているほど大きなペナルティを与える——この役割を担うのが 交差エントロピー誤差(Cross-Entropy Loss、クロスエントロピー) です。 交差エントロピーは、画像分類・自然言語処理(言語モデルの次単語予測)・音声認識など、分類タスクのほぼ標準の損失関数として使われています。名前は仰々しいですが、中身は「正解クラスの予測確率に $-\log$ を取るだけ」とシンプルです。この記事では、その定義から情報理論的な意味、勾配の美しさ、そして「なぜ分類では二乗誤差より交差エントロピーが好まれるのか」までを、図とコードで一気に理解します。 先

    disassembler
    disassembler 2022/11/18
    交差エントロピーがビジュアルで理解できる。数式なんていらんかったんや!(大嘘)