tl;dr 目的:なぜ簡単な問題においてパーセプトロンよりもSVMのほうが性能が良いことが多いのか、それは本当なのかを考察する。 特に、ラベルあたりのデータ数に偏りがある場合。 SVM、単層パーセプトロン、SVMと同じ損失関数の単層パーセプトロンで振る舞いを比較した。 定性的な評価だが、SVMがもっともよかった。少なくとも損失関数の違いだけではないことがわかった。 最適化法の違い、パラメータの選び方が効いているのかもしれない。 はじめに 線形SVM1は歴史ある分類器ながら、その強力さから現代でも広く使われています。分類器としては近年ニューラルネットワーク、特にニューラルネットワークを多層にかさねた深層学習が話題になっています。しかし、これはあくまでも感覚なのですが、がんばって訓練したニューラルネットワークよりも素朴な線形分類器であるSVMのほうが性能が高いことが多々あります。 線形SVMと
はじめに ニューラルネットワーク 損失関数を考えるモチベーション 分類の損失関数 0−1損失関数 分類における損失関数の基本 0-1損失の問題点と代理損失 色々な損失関数 分類の損失を考える上で重要な「正解と出力の積」 ロジスティック損失 指数損失 ヒンジ損失 平滑化ヒンジ損失 損失関数の図示 0-1損失で図の見方を確認 ロジスティック損失 指数損失 ヒンジ損失 平滑化ヒンジ損失 比較 最後に モデルの方の話 実際に使う場合の話 学習の評価は「正解・不正解」だけでない 回帰における損失関数 はじめに 機械学習における教師あり学習では、入力に対してパラメータを用いて関数を構築し、正解データに対して損失を定義し、これを最小化する手続きを取ります。 損失を、色々なとの組に対して計算し、その総和が最小化されるようにを決めることを学習と呼びます。これにより未知のデータを入力した時に、それに対する正解
図のように、ある部分までは $0$ で、そこから一定の割合で増加していくような関数をヒンジ関数と言います。 例えば、赤いグラフの関数を式で表すと、 $f(x)=\begin{cases}0&(x\leq a)\\x-a&(x>a)\end{cases}$ のようになります。 2つの式をまとめて $f(x)=\max(0,x-a)$ と書くこともできます。 別の例として、青いグラフの関数を式で表すと、 $f(x)=\begin{cases}b-x&(x\leq b)\\0&(x>b)\end{cases}$ のようになります。 2つの式をまとめて $f(x)=\max(0,b-x)$ と書くこともできます。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く