自前でk-NN実装してみる - Qiita

動機 機械学習関連の知識を再確認していて、まずは最も基本的な手法、k-NN法（k最近傍法）を勉強がてら自前で実装してみました。 k-NN法とは まずはk-NNの概要からおさらいします。とてもシンプルでわかりやすいアルゴリズムなのですぐ理解できると思います。 このアルゴリズムは下の図が全てです。 注目データは中心の星印です。まず与えられたデータに対して全てのデータ間の距離を計算します。例えばk=3のとき、注目データに最も近い上位３個のデータのラベルを見ます。この場合、クラス１が２個、クラス２は１個なので最頻値を取るクラス１に分類されます。一方で、k=6としてみると、クラス１が２個、クラス２が６個となるので、このデータはクラス２に分類されます。 このように与えられたデータは近いデータのラベルの多数決で決定されることになります。 ちなみにk=1のときは最近傍法とも呼ばます。 似たような名前の手法