数学的に考えてみる(ハードマージンSVM) - Shogo Computing Laboratory

もっと数学的な説明が欲しい方のために、少しまとめてみました。 仕組み 簡単な仕組みはハードマージンSVMを参照してください。 JavaScript+SVGで実装した例があります。 問題の定式化 データがとのどちらかのクラスに分類されているものとします。 この分類が線形分離可能で、 で表される超平面で完全に分類できるものと仮定します。 ここでは重みベクトル、はバイアスパラメータです。 超平面の方程式は両辺を定数倍しても変わらないので、一つに決めることができません。 そこで、二つの超平面 の間(下図の点線の間)にはデータが存在しないという条件をつけることにします。 この条件はを使って次のように表すことができます。 このような条件下ではマージンはとかけます。 マージン最大化問題は、これを最大化するパラメータを求める問題と考えることができます。 ただし、これを直接最大化するは難しいので、次のように