クラスタリングの意義と目的 昨日はクラスタリングの概要と scikit-learn を使って実際にクラスタリングをする流れを説明しました。 scikit-learn によるクラスタリング (1) ここで基本に立ち返りそもそもクラスタリングとは何なのかを探っていきます。 多くの機械学習のアルゴリズムでは、特徴量 (素性) をベクトルで表現します。 線形代数では和とスカラー積が内部で定義されている集合をベクトル空間、その要素をベクトルと言います。 クラスタリングとはすごくざっくり言うと、特徴量同士がどれくらい似ているかを計算、似たものをグルーピングしようという方法です。 元データが文字だろうが画像だろうが、パターンを認識して特徴量に落とした時点で、教師となるデータを与えることなく、グルーピングができるようになるわけですね。 たとえば不特定多数のアンケート回答を似た者同士で寄せ集めたり、画像の肌

scikit-learn + クラスタリングに関してはこのブログのだいぶ初期にちょっとだけ触ったのですが、今にして思うと説明不足感が否めないですし、そもそもこれだけじゃ scikit-learn を思い通りの目的にあわせて使えないという意見もあるかと思います。そこで改めて scikit-learn による基本的なクラスタリングについて説明していきます。 といっても基本的な話としては本家のドキュメントを読めで話が終わってしまうのですが、日本語の情報があると何かと助かるということもあるかと思います。 生徒の成績をもとに班分けをおこなう よくあるケースとしては例えば、生徒の国語・数学・英語の成績をもとにいくつかのグループに分けたいという場面です。このとき、各科目の合計点の上位から順番に分けてもいいのですが、中には国語が良く出来るけど数学はいまひとつな生徒、数学は得意だけど国語はいまひとつな生徒も