平面に散らばった赤と青の点を、1本の直線できれいに分けたい——機械学習の入門で最初に出会う「線形分類」の問題です。ところが現実のデータはそんなに親切ではありません。赤い点が中心にかたまり、青い点がそれを取り囲むドーナツ状に並んでいたら、どんな直線を引いても分離できません。同心円という構造そのものが、線形では扱えない非線形性を持っているからです。 ここで素朴な発想が湧きます。「2次元では分けられないなら、3次元目を足してみたらどうか」。たとえば各点に $z = x^2 + y^2$ という新しい座標を付け加えれば、内側の点は $z$ が小さく、外側の点は $z$ が大きい。3次元空間で見ると、赤と青は高さの違う2つの層に分かれ、水平面1枚で分離できてしまいます。「線形分離できないなら高次元に飛ばせばよい」——これこそがカーネル法の原点です。 しかしこのアイデアには重大な落とし穴があります。高