機械学習のアルゴリズム（サポートベクターマシン応用編） - Qiita

はじめに 以前、「機械学習の分類」で取り上げたアルゴリズムについて、その理論とpythonでの実装、scikit-learnを使った分析についてステップバイステップで学習していく。個人の学習用として書いてるので間違いなんかは大目に見て欲しいと思います。 前回、サポートベクターマシンの基本的なところについて書きました。前回は、ハードマージンと言って正例と負例がちゃんと分離できるSVMを扱いましたが、今回は ソフトマージン（ノイズの混ざった分類） カーネル法とカーネルトリック（線形分離不可能な問題） について言及していこうと思います。 ソフトマージンSVM 前回と違って、下図のような赤丸と青丸が微妙に分離できない例を考えます。 その前に復習 ハードマージンSVMの式はパラメータの集合を$w$としたときに、 $$ \frac{1}{2}|w|^2$$を$$ t_n(\boldsymbol{w}^