クラスタリング (クラスター分析) - Toshihiro Kamishima
クラスタリング (clustering) とは，分類対象の集合を，内的結合 (internal cohesion) と外的分離 (external isolation) が達成されるような部分集合に分割すること [Everitt 93, 大橋 85] です．統計解析や多変量解析の分野ではクラスター分析 (cluster analysis) とも呼ばれ，基本的なデータ解析手法としてデータマイニングでも頻繁に利用されています． 分割後の各部分集合はクラスタと呼ばれます．分割の方法にも幾つかの種類があり，全ての分類対象がちょうど一つだけのクラスタの要素となる場合(ハードなもしくは，クリスプなクラスタといいます)や，逆に一つのクラスタが複数のクラスタに同時に部分的に所属する場合(ソフト，または，ファジィなクラスタといいます)があります．ここでは前者のハードな場合のクラスタリングについて述べます．
解説・講義資料 - Toshihiro Kamishima
機械学習・データマイニング全般 変わりゆく機械学習と変わらない機械学習 [物理学会誌 2019]：機械学習・データマイニングについての専門家以外に向けた解説記事 機械学習・データマイニング分野の概要：分野全体の概要と国際会議動向まとめ資料 ML, DM, and AI Conference Map：人工知能，機械学習，およびデータマイニング関係の国際会議関連マップ データマイニング：4種類の主要分析タスクとデータマイニングによる知識発見プロセスについての学部前半レベルの説明資料 社会における機械学習 機械学習・データマイニングにおける公平性 [人工知能学会誌 2019]：アルゴリズム決定の公平性に関する議論 Fairness-Aware Machine Learning and Data Mining: Tutorial on data analysis considering pot
今日から使える！ みんなのクラスタリング超入門
第2回さくさくテキストマイニング勉強会で発表したk-meansに関する資料です。Weniger lesen
クラスタリングによる大量マーカー表示 Google Maps v3用Fluster2 | WordPressにGoogle Maps API V3！
Google Maps v3 用の多数マーカー表示用のFluster2なるものを見つけた。 最近マーカーをクラスタ化？するのが流行っているのか。数万ものマーカーとなれば、サーバ側のデータベースからマーカー情報を逐次マップ移動にあわせて読み込むことになるだろうが、なんかスムースではないですよね。地図を移動・拡大縮小するたびにパソコンのハードディズクがシャッシャと動くので・・・ かといって、個人ユースでも数千の多くのマーカーを表示させたいが、数百マーカーが限界・・・・・ブラウザGoogle Chromeならまだしも、IEが世の主流では、マーカー表示の遅さにうんざりとなるだろう。 もう1年経てばずいぶんとGoogle Maps v3もいろいろコードが増えるのでそれまで保留。 ◆Google Maps v3用クラスタリング Clustering for Google Maps v3 with Fl
サービス終了のお知らせ
平素より「PHPプロ！」をご愛顧いただき、誠にありがとうございます。 2006年より運営してまいりました「PHPプロ！」ですが、サービスの利用状況を鑑みまして、2018年9月25日（火曜日）をもちましてサービスを終了させていただくことになりました。 サービス終了に伴いまして、2018年8月28日（火曜日）を持ちまして、新規会員登録ならびにQ&A掲示板への新たな質問、回答の投稿を停止させていただきます。 なお、ご登録いただいた皆様の個人情報につきましては、サービス終了後、弊社が責任をもって消去いたします。 これまで多くの皆様にご利用をいただきまして、誠にありがとうございました。 サービス終了に伴い、皆様にはご不便をおかけいたしますこと、心よりお詫び申し上げます。 本件に関するお問い合わせはこちらよりお願いいたします。
CatTail Wiki*
２つのデータが似ている度合いを，類似度の大きさや距離の近さといった数値にしてあらわすことで，クラスタ分析や，k-近傍法，多次元尺度構成法(MDS)をはじめとするいろいろな分析を行うことが可能となる． ここでは，よく知られている類似度や距離について述べる． 類似度という概念は，２つの集合の要素がまさにどれだけ似ているかを数量化したものであり，距離とは，要素同士の離れ具合，従って非類似度とちかい概念と考えてもよい． 参考までに数学における距離の概念の定義を示すと， 距離空間の定義 Sを１つの空でない集合とし，dをSで定義された2変数の実数値関数 d(SxS) → R が，以下の４条件（距離の公理） D1 ： （非負性） 任意のx,y∈Sに対して d(x,y)≧0． D2 ： （非退化性） x,y∈Sに対し d(x,y)=0 ⇔ x=y． D3 ： （対称性） 任意のx,y∈Sに対して d(x
文書クラスタリングの技法ゼミ
III. 文書クラスタリングの技法 A. 単一パスアルゴリズム 1. k-means 法の適用 2. Willett のアルゴリズム 3. 平均クラスタリング・アルゴリズム
Introduction to Information Retrieval #16 の復習資料 - naoyaのはてなダイアリー
しばらく間が空いてしまいました。Introduction to Information Retrieval 輪読会 16章の復習資料を以下にアップロードしました。 http://bloghackers.net/~naoya/iir/ppt/iir_16.ppt 16章のテーマは、"Flat Clustering" で話題はクラス分類からクラスタリングへと移ります。16章ではクラスタとクラスタの間に関係性がないフラットクラスタリングを扱い、続く 17章ではクラスタ間に階層的構造を見出す階層型クラスタリング (Hierachical clustering) を扱います。 クラスタリング 13章から15章までは Naive Bayes や SVM などによる "Classification" が話の主題でした。クラスタリングも同様に情報のグルーピングを行うものですが、Classification
Tsujii Lab. Enshu3 -- Document Clustering
背景 ウェブやメールのような大量の生テキストが与えられたとき、 分類 を行ってデータの見通しをよくしたい、ということはよくあります。 自動的な文書の分類を行う際、とりえる手段は教師あり学習と教師なし学習に分かれます。 教師なし学習を用いる利点は、人的なコストをあまりかけずに良い分類器を作れる可能性があることです。 教師あり学習では、比較的少ない数（たとえば数百）の文書に対して事前に分類ラベルを振っておき、それに対して機械学習の手法を適用し、 その学習結果を使ってそれ以外の大量（たとえば数万、数百万）の文書を分類しようとします。教師あり学習は多くの言語処理タスクで成功していますが、事前にラベルを振るために必要な人的コストが大きいという問題があります。 一方、教師なし学習では、事前に分類ラベルを振ったデータセットを作ることはしません。 教師なし学習の一種である文書クラスタリングの場合は、データ
「統計学関連なんでもあり」の過去ログ---034
★ 0/1データのクラスタリングについて ★ 7390. 0/1データのクラスタリングについて いちろう 2005/08/05 (金) 21:01 ├7392. Re: 0/1データのクラスタリングについて 青木繁伸 2005/08/05 (金) 21:50 │└7395. Re^2: 0/1データのクラスタリングについて いちろう 2005/08/05 (金) 22:16 └7391. Re: 0/1データのクラスタリングについて kzkishi 2005/08/05 (金) 21:47 ├7394. Re^2: 0/1データのクラスタリングについて いちろう 2005/08/05 (金) 22:06 │└7396. Re^3: 0/1データのクラスタリングについて にゃんちゅう 2005/08/05 (金) 22:19 │ └7399. Re^4: 0/1データのクラスタリングについて
山下研究室の紹介
現在の様々な世界的問題を解決していくためには， 科学技術を発展させていく以外に方法はなく， 科学技術こそが人類の共通文明となりうる資格を持っている． そして、科学技術というパンドラの箱を開けてしまった以上， それを発展させ、科学的知見に基づいて合理的に振る舞うしか， 人類が生存する道は残されていない． この考えに基づき，山下研究室では，人類福祉の向上を目指した技術開発， 人類に新しいものの考え方を提供する科学的知見の創造を目的として 研究を進めていくものである． 山下研究室では，上記の理念のもと，次のような研究を行っています． パターン認識・学習 画像符号化 計算機アーキテクチャ Text Oriented Bi-Stream Explanation (TOBE) System 以下では，それぞれについて，詳しく説明していきます． 専攻説明会での配布資料 パターン認識・学習 パターン認識は
適切なクラスタ数を推定するX-means法 - kaisehのブログ
K-means法によるクラスタリングでは、あらかじめクラスタ数Kを固定する必要があります。HatenarMapsでもK-means法を使っているのですが、クラスタ数は（特に根拠もなく）200個に決め打ちになっていました。 これに対して、X-means法というK-means法の拡張が提案されていることを知りました。X-means法を使うと、データに応じて最適なクラスタ数を推定できます。 K-means and X-means implementations http://www-2.cs.cmu.edu/~dpelleg/download/xmeans.pdf X-means法の考え方は、K=2で再帰的にK-means法を実行していくというもので、クラスタの分割前と分割後でBIC（ベイズ情報量規準）を比較し、値が改善しなくなるまで分割を続けます。 調べたところ、Javaのデータマイニングツー
軽量データクラスタリングツールbayon - mixi engineer blog
逆転検事を先日クリアして、久しぶりに逆転裁判1〜3をやり直そうか迷い中のfujisawaです。シンプルなデータクラスタリングツールを作成しましたので、そのご紹介をさせていただきます。 クラスタリングとは クラスタリングとは、対象のデータ集合中で似ているもの同士をまとめて、いくつかのグループにデータ集合を分割することです。データマイニングや統計分析などでよく利用され、データ集合の傾向を調べたいときなどに役に立ちます。 例えば下図の例ですと、当初はデータがゴチャゴチャと混ざっていてよく分からなかったのですが、クラスタリングすることで、実際は3つのグループのデータのみから構成されていることが分かります。 様々なクラスタリング手法がこれまでに提案されていますが、有名なところではK-means法などが挙げられます。ここでは詳細については触れませんが、クラスタリングについてより詳しく知りたい方は以下の
クラスタリングツール bayon がとてつもなく素晴らしいです！
クラスタリングツール bayon がとてつもなく素晴らしいです！ 2009-06-10-5 [Algorithm][Software] mixi の fujisawa さんによる、C++ で書かれたクラスタリングツール bayon がシンプルイナフで猛烈に素晴らしくてクールです。 - 軽量データクラスタリングツールbayon (mixi Engineers' Blog) http://alpha.mixi.co.jp/blog/?p=1049 - チュートリアル（Tutorial_ja - bayon） http://code.google.com/p/bayon/wiki/Tutorial_ja 詳細は上記URLを見てもらうとして、 たまたま手元に250万件のデータ（ラベル＋特徴語リスト）があったのでさっそく試してみました。 ドキュメント数250万件。 各ドキュメントの特徴を現すキーの平
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
nanapi map - サブカテゴリビュー | visualizing.info
SOMとは(1) [SOM JAPAN]
bayon - Google Code