タグ

機械学習に関するsiik02のブックマーク (2)

  • 正則化をなるべく丁寧に理解する - 理屈編 - - 雑記 in hibernation

    機械学習における正則化の原理と挙動を理解するため、手法の概要をまとめると共に、実際に正則化を用いた最適化をシミュレートして挙動を確認します。 今回の記事では -理屈編- と題して、正則化の着想から具体的な手法(L1,L2正規化)の解説までをまとめます。最適化のシミュレートは -実践編- と称した次回の記事で行います。 なお、この記事は個人的な備忘録として作成しています。 1. はじめに 1.1. 過学習と正則化 機械学習や統計学においてサンプルデータからモデルの学習を行う際、過学習(モデルの形状がサンプルデータへの適合に特化しすぎてしまい、真に推定したい分布からかけ離れてしまう現象)がしばしば問題になります。正則化は過学習を抑えるメジャーな手法の一つです。正則化の考え方はシンプルです。学習時に損失関数に正則化項を加え、これを目的関数として最適化を行います。これにより正則化項がパラメータの大

    正則化をなるべく丁寧に理解する - 理屈編 - - 雑記 in hibernation
  • 交差エントロピーを理解してみる - デジタル・デザイン・ラボラトリーな日々

    はじめに ここ数ヶ月は別の件で忙しくて、機械学習に向き合えていませんでした。 仕事で調べたり学んだことはQiitaブログの方に書いていて結構すんなり書けるんですが、このブログは数学・物理・機械学習と特化するようにしているので、パワーがないと進まない。 ここ数ヶ月で頭の片隅にあったのは、損失関数の「交差エントロピー」です。今回はこれを理解していこうと思います。 何故、気になっていたのかというと、下記サイトの誤差関数(loss)のときのTensorflow関数「tf.nn.sigmoid_cross_entropy_with_logits」があり、シグモイド関数と交差エントロピーが一緒になっているからです。 yaju3d.hatenablog.jp # 誤差関数(loss) loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logit

    交差エントロピーを理解してみる - デジタル・デザイン・ラボラトリーな日々
  • 1