K-means法によるクラスタリングのスマートな初期値選択を行うK-means++ - kaisehのブログ
K-means法は、入力データからK個のランダムな個体を初期クラスタの中心として選択し、以降、クラスタの重心を移動させるステップを繰り返すことでクラスタリングを行う非階層的手法です。K-means法はシンプルで高速ですが、初期値依存が大きいのが弱点で、不適切な初期値選択をすると間違った解に収束してしまいます。 以下は、Introduction to Information Retrievalの16章に出てくる例です。 {d1, d2, ..., d6}をK=2でクラスタリングする場合、{{d1, d2, d4, d5}, {d3, d6}}が大域最適解ですが、初期クラスタの中心をd2, d5で与えると、{{d1, d2, d3}, {d4, d5, d6}}という誤った解に収束してしまいます。 この問題を改善するK-means++という手法を見つけたので、試してみました。 K-means+
Open source Clustering software
The open source clustering software available here implement the most commonly used clustering methods for gene expression data analysis. The clustering methods can be used in several ways. Cluster 3.0 provides a Graphical User Interface to access to the clustering routines. It is available for Windows, Mac OS X, and Linux/Unix. Python users can access the clustering routines by using Pycluster,
python-cluster
Description python-cluster is a package that allows grouping a list of arbitrary objects into related groups (clusters). Simply give it a list of data and a function to determine the similarity between two items and you're done. Project homepage News (with text) Error: RSS file not found... Installation INSTALLATION Linux RPM-Installation I'm not familiar with RPM-distributions but as far as I kno
Programming Collective Intelligence - ma2’s diary
Programming Collective Intelligence: Building Smart Web 2.0 Applications 作者: Toby Segaran出版社/メーカー: O'Reilly Media発売日: 2007/08/26メディア: ペーパーバック購入: 3人 クリック: 117回この商品を含むブログ (31件) を見るいわゆる「集団知」を求めるためのプログラミングについて書かれた本のようだ。「お勧め」の作成とか，ランキングとか，面白そうなんだけど，英語で読破するのはつらいか。邦訳が出るのを待つかどうか迷うな。TOCは以下の通り。 1. Introduction to Collective Intelligence What Is Collective Intelligence? What Is Machine Learning? Limits of Ma
分類問題 - nobuyukishimizuの日記
今回は Classifier (分類器)についての歴史です。 前回は、Model, Optimization, そして、Featureの話でした。 この三つを知らないと話がわからないので注意。 ふたたび、x を見て、y を予測したいとします。 例えば、x はパスポートの写真。 y は性別とします。 まず、x を数字の行列で表すとします。 高校のときに習ったベクトルです。 デジタルイメージの写真で、360*360の大きさなら、パスポートの写真は、360*360次元の空間の一点である、という感じに x のデータを数字に落とすことができます。 この x が生きる世界が Feature Space. 次元ひとつが Featureに対応します。 まあ、こんな感じで、ベクトル空間の一点としてサンプルを表すことができます。 さて、男と女を分類するにはどうするか。 歴史上のブレイクスルーが、いくつかありま
HLT, COLT, ICML, Coling-ACL, EMNLP - nobuyukishimizuの日記
HLT, COLT, ICML, Coling-ACL, EMNLPで、機械学習の視点から見て大事そうだな、と思った論文について書きます。 自然言語処理の分野で使えそうな structure のある話にバイアスがかかっているので悪しからず。 他にも良い論文はいっぱいありました。 ======= undirected graphical modelについては、近似を使って undirected graphical model を速く学習する方法についての論文が大事そうでした。 Quadratic Programming Relaxations for Metric Labeling and Markov Random Field MAP Estimation http://www.icml2006.org/icml_documents/camera-ready/093_Quadratic_P
機械学習 - nobuyukishimizuの日記
しばらく、資料集の紹介だったので、ここらへんで専門に勉強しない人に向けた機械学習についての解説をすこしだけします。 主なタスクは、以下の様なものです。 (1) Supervised 訓練用にサンプルを用意して、機会に学習させた後、テスト用の別なサンプルでどれぐらい学んだかをテストします。 教師が必要で、通常人間が訓練用サンプルを準備します。 Classification (分類) あらかじめ決めておいたカテゴリーに、サンプルを分類します。 Regression サンプルごとに、数字を予測します。 (2) Unsupervised 訓練用のサンプルを必要としないタスク。 教師なし。 Anomaly Detection めずらしいサンプル、ほかと違うサンプルを見つけます。 Clustering サンプルがどのように分類できるか、カテゴリーを発見します。 Summarization ＊注意 デー
kookleの階層構造作成アルゴリズムをひらめいた - Ryoの開発日記 - 水曜日#p1
今まで、いかにも適当なヒューリスティクスに従ったアルゴリズムで階層構造を作っていたわけですが、もうちょっとまともな、数学とかのアイデアをベースにする方法をふとんの中で考えてて思いついた。 詳細は言えないけど、今までは、2つのタグのペアでの共起頻度しか見てなかった。つまりスカラ。 で、それだと 距離空間の条件 非負性（半正定値性）: d(x, y) ≥ 0, 同一性（非退化性）: d(x, y) = 0 ⇔ x = y, 対称性: d(x, y) = d(y, x), 三角不等式： d(x, y) + d(y, z) ≥ d(x, z) 距離空間の定義の4つ目の三角不等式が成り立たないので、ベクトル空間でのクラスタリングとかは多分うまくいかない 。 ex) d(犬,動物)+d(猫,動物) >= d(犬,猫) という関係は一般に成り立たない そこで、全単語との共起頻度を基底としたベクトルで各タ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://code.google.com/edu/content/submissions/mapreduce-minilecture/listing.html
http://crd.lbl.gov/~cding/Spectral/
言葉を分類する Clustord
村田研究室のページ
Rの基本パッケージ中の多変量解析関数一覧 - RjpWiki