スペクトラルクラスタリングの話 - おいしいお米の話
Machine Learning Advent Calendar 2012に参加させていただきました，@yonetaniryo と申します．現在，博士後期課程2年で，コンピュータビジョン・パターン認識に興味があります．最近，クラスタリング手法の一つであるスペクトラルクラスタリングについて勉強する機会があったので，今回はそれを紹介しようと思います． 2013 1.24 いただいたコメントをもとに，図を一部更新しました． はじめに 本記事のモチベーション 本記事では，「スペクトラルクラスタリングについて何も知らない」人を「スペクトラルクラスタリングとは何かを大雑把には知っている」状態に持っていくことを目標にしています．具体的には，文献[1]の最初の方を紹介します． 本記事で扱う範囲 データのグラフ表現〜スペクトラルクラスタリングのアルゴリズム を扱います． 本記事で扱わない範囲 Normali
最大マージン kNN と SVM の関係: kNN も最近はがんばっています - 武蔵野日記
先日書いた機械学習における距離学習の続き。 kNN (k-nearest neighbour: k 近傍法)は Wikipedia のエントリにも書いてある通り、教師あり学習の一つで、あるインスタンスのラベルを周辺 k 個のラベルから推定する手法。memory-based learning と呼ばれることもある。単純に多数決を取る場合もあれば(同点を解決する必要があるが)、近いインスタンスの重みを大きくする場合もあるのだが、いずれにせよかなり実装は単純なので、他の機械学習との比較(ベースライン)として使われることも多い。 簡単なアルゴリズムではあるが、1-NN の場合このアルゴリズムの誤り率はベイズ誤り率(達成可能な最小誤り率)の2倍以下となることが示されたり、理論的にもそれなりにクリアになってきているのではないかと思う。また、多クラス分類がちょっと一手間な SVM (pairwise に
K-means法によるクラスタリングのスマートな初期値選択を行うK-means++ - kaisehのブログ
K-means法は、入力データからK個のランダムな個体を初期クラスタの中心として選択し、以降、クラスタの重心を移動させるステップを繰り返すことでクラスタリングを行う非階層的手法です。K-means法はシンプルで高速ですが、初期値依存が大きいのが弱点で、不適切な初期値選択をすると間違った解に収束してしまいます。 以下は、Introduction to Information Retrievalの16章に出てくる例です。 {d1, d2, ..., d6}をK=2でクラスタリングする場合、{{d1, d2, d4, d5}, {d3, d6}}が大域最適解ですが、初期クラスタの中心をd2, d5で与えると、{{d1, d2, d3}, {d4, d5, d6}}という誤った解に収束してしまいます。 この問題を改善するK-means++という手法を見つけたので、試してみました。 K-means+
分類問題 - nobuyukishimizuの日記
今回は Classifier (分類器)についての歴史です。 前回は、Model, Optimization, そして、Featureの話でした。 この三つを知らないと話がわからないので注意。 ふたたび、x を見て、y を予測したいとします。 例えば、x はパスポートの写真。 y は性別とします。 まず、x を数字の行列で表すとします。 高校のときに習ったベクトルです。 デジタルイメージの写真で、360*360の大きさなら、パスポートの写真は、360*360次元の空間の一点である、という感じに x のデータを数字に落とすことができます。 この x が生きる世界が Feature Space. 次元ひとつが Featureに対応します。 まあ、こんな感じで、ベクトル空間の一点としてサンプルを表すことができます。 さて、男と女を分類するにはどうするか。 歴史上のブレイクスルーが、いくつかありま
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://dlgateway.acm.org/delivery.cfm?urlpath=10.1145/1460000/1458319/p1435-wang.pdf?key1=1458319&key2=4901749821&coll=DL&dl=ACM&CFID=110117343&CFTOKEN=12633547
