Googleの工藤さんが客員准教授をされているという東大の講義「創造情報学連携講義VII」、講義資料が公開されていないのは残念ですが、課題が面白かったので解いてみました。創造情報学連携講座今回は、6/17の栗原さんの課題1を解きましたので紹介します。よい復習になりました。 問題入力データの特徴ベクトルに対し、重みベクトルを使ってラベルを以下の式で予測する。正解ラベルが与えられたとき、以下のように重みベクトルを更新する。このとき、そのデータに対する誤差を以下のように定義する。誤差が更新前より小さくなることを証明せよ。 回答を証明する。実際のオンライン学習では1つのデータに対する損失を最小にしても仕方がないので、学習率を小さく設定して過学習しにくくするのが一般的です。また、実はラベルlは二値でない実数などでも同様に成り立ちますが、実数の場合(=線形回帰)はバッチ学習の最適解が解析的に解けるので