正則化をなるべく丁寧に理解する - 理屈編 - - 雑記 in hibernation
機械学習における正則化の原理と挙動を理解するため、手法の概要をまとめると共に、実際に正則化を用いた最適化をシミュレートして挙動を確認します。 今回の記事では -理屈編- と題して、正則化の着想から具体的な手法(L1,L2正規化)の解説までをまとめます。最適化のシミュレートは -実践編- と称した次回の記事で行います。 なお、この記事は個人的な備忘録として作成しています。 1. はじめに 1.1. 過学習と正則化 機械学習や統計学においてサンプルデータからモデルの学習を行う際、過学習（モデルの形状がサンプルデータへの適合に特化しすぎてしまい、真に推定したい分布からかけ離れてしまう現象）がしばしば問題になります。正則化は過学習を抑えるメジャーな手法の一つです。正則化の考え方はシンプルです。学習時に損失関数に正則化項を加え、これを目的関数として最適化を行います。これにより正則化項がパラメータの大
交差エントロピーを理解してみる - デジタル・デザイン・ラボラトリーな日々
はじめに ここ数ヶ月は別の件で忙しくて、機械学習に向き合えていませんでした。 仕事で調べたり学んだことはQiitaブログの方に書いていて結構すんなり書けるんですが、このブログは数学・物理・機械学習と特化するようにしているので、パワーがないと進まない。 ここ数ヶ月で頭の片隅にあったのは、損失関数の「交差エントロピー」です。今回はこれを理解していこうと思います。 何故、気になっていたのかというと、下記サイトの誤差関数(loss)のときのTensorflow関数「tf.nn.sigmoid_cross_entropy_with_logits」があり、シグモイド関数と交差エントロピーが一緒になっているからです。 yaju3d.hatenablog.jp # 誤差関数(loss) loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logit
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
