{TSclust} ではじめる時系列クラスタリング - StatsFragments
概要 こちらで書いた 動的時間伸縮法 / DTW (Dynamic Time Warping) を使って時系列をクラスタリングしてみる。ここからは パッケージ {TSclust} を使う {TSclust} のインストール install.packages('TSclust') library(TSclust) サンプルデータの準備 {TSclust} では時系列間の距離を計算する方法をいくつか定義している。クラスタリングの際にどの定義 (距離) を使えばよいかは 時系列を何によって分類したいのかによる。{TSclust} に実装されているものをいくつかあげると、 diss.ACF : ACF diss.CID : Complexity Correlations (よくわからん) で補正したユークリッド距離 diss.COR : ピアソン相関 (ラグは考慮しない) diss.EUCL :
時系列データクラスタリングとk-Shape – CyberGarage (Memo)
最近ある時系列データの因果関係が分析できればと、手始めに時系列データの相関解析やクラスタリングの手法を調査しています。 今回は、時系列データクラスタリング手法の動向と、2015年に論文が発表された正規化相互相関手法を用いた形状ベース(Shape-based)の時系列クラスタリング手法であるk-Shape[3]についてまとめてみます。 クラスタリングとは？ クラスタリングとは、対象となるグループに対する高度な知識がなくとも、類似のデータを関連するグループや同種のグループに分割するデータマイニングの手法です。クラスタリングは、科学的データの探査、情報検索とテキストマイニング、CRMやマーケティング、医療診断などの、データマイニングの手法として実用的に用いられています [1]。 研究的な観点からも、クラスタリングは、統計、パターン認識、機械学習などの分野で、現在も活発に研究されています。機械学習
k-means++を理解する - Qiita
はじめに 以前k-meansに関する記事を投稿しました。 k-meansは初期値依存という問題を抱えているため、その克服を目指したk-means++というアルゴリズムが開発されています。 今回はk-means++について勉強した内容をまとめました。 参考 k-means++の理解に当たって下記を参考にさせていただきました。 言語処理のための機械学習入門 (自然言語処理シリーズ) 高村 大也 (著), 奥村 学 (監修) 出版社; コロナ社 機械学習のエッセンス 加藤公一(著) 出版社; SBクリエイティブ株式会社 k-means++法 - Wikipedia k-means++について k-meansの復習 k-meansの概要 k-meansは、まずデータを適当なクラスタに分けた後、クラスタの平均を用いてうまい具合にデータがわかれるように調整させていくアルゴリズムです。任意の指定のk個の
xmeans法による画像分類において求まったクラスタ数がおかしいです
前提・実現したいこと xmeans法によるクラスタリングの精度向上 発生している問題・エラーメッセージ 任意のカラー画像を似通った画像ごとに分類したいのですが、ほとんどの場合クラスタ数が２になってしまいます。 例えば、ただのコピー画像同士は同じクラスタに分類されるのですが、クラスタ数が２であるゆえに他の画像と混ざってしまいます。 これをxmeans法である程度の精度で実現したいと考えております。xmeans法以外の手法は現時点では考えておりません。 念のためソースコードをすべて記載しますが、該当箇所は64行目以降(#クラスタ数の取得およびxmeansの実行 というサブタイトル)だと思われます。 該当のソースコード python 1import shutil 2from skimage import data 3import os 4import glob 5from PIL import
xmeansの弱点 - Qiita
はじめに 非階層クラスタリングの一つにxmeansという手法があります。xmeansとはkmeansを拡張した手法であり、クラスタ数をBIC(ベイズ情報量規準)を用いて自動的に決定してくれます。今回は会社での業務を通じて、xmeansの弱点を発見したので記事にしようと思います。 なお、xmeansについては以下の記事を参考にしました。 x-meansの使い方 クラスタ数を自動推定するX-means法を調べてみた Xmeansの弱点 xmeans実行 xmeansを用いたときに生じた問題を再現するため、以下のようにシミュレーションデータを作成します。ポイントは 60個の要素をもつベクトル $z$ の最初の20個が $0$ であることです。 #基礎計算系のライブラリ import numpy as np from scipy import stats #クラスタリングに用いるライブラリ fro
Python 自動でクラス数を決定してクラスタリングする「x-means」と「g-means」 - PythonとVBAで世の中を便利にする
クラスタリング、クラスター分析と言えば、k-meansが有名です。しかし、予めクラス（分類）数を指定する必要があります。この対策として、分類数を自動で決定するアルゴリズムはいくつか存在していて、「x-means」,「g-means」,「Star Clustering」などがあります。 本記事では、「x-means」と「g-means」の雛形コードと実行結果の比較例を載せました。この2つは、pyclusteringをインストールすることで使用できます。 ■インストール方法 pipの場合 pip3 install pyclustering Anaconda環境下の場合 conda install -c conda-forge pyclustering ■分析に使用した例題データ scikit-learnに同梱されているワインデータセットを用いました。本来は、機械学習の分類用に用意されたデータセ
自動でクラスタ数を決めてくれるクラスタリング G-means - Qiita
この記事はfreee データに関わる人たち Advent Calendar 2019 6日目のエントリーです。 前日の夜中に書きはじめてヒーヒー言いながら書いています。 はじめに PyClusteringというライブラリを皆さんご存知でしょうか。PyClusteringはPythonとC++から利用できるクラスタリングに特化したライブラリです。そんなPyClustering v0.9.2にG-meansというアルゴリズムが新しく実装されました。G-meansという名前を初めてみた + 日本語の記事が見当たらなかったので調べてまとめてみました。 アルゴリズム自体はシンプルなので論文を直接読んで頂くのが一番分かりやすいかも知れません。 G-meansはK-meansを拡張したものでK-meansのパラメータであったクラスタ数を自動で決定してくれるアルゴリズムです。 似たような方法にX-mean
クラスタ数を自動推定するX-means法を調べてみた - Qiita
背景 前回、k-meansの最適なk数ってどうやって探すの？って記事を書きました ↓ コメント欄 というわけで、『X-means』を調べました クラスタ数を自動推定するX-means法について Pelleg and Moore (2000)が提案したK-meansの拡張アルゴリズム。 クラスター数Kを自動決定する k-meansをデータ数が多くても高速に動くようなアルゴリズムに工夫する という点が、従来のk-meansとの差分。 "x-means"でググると最初に出てくる2本のpopularっぽい論文 X-means: Extending K-means with Efficient Estimation of the Number of Clusters | Carnegie Mellon Univ. (2000) x-meansの提案論文 クラスター数を自動決定するk-meansアルゴ
ベイズ情報量規準 - Wikipedia
この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。出典を追加して記事の信頼性向上にご協力ください。（このテンプレートの使い方） 出典検索?: "ベイズ情報量規準" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL（2018年12月） ベイズ情報量規準（ベイズじょうほうりょうきじゅん、英: Bayesian information criterion, BIC）は、ベイジアン情報量規準、シュワルツ情報量規準、シュワルツのベイジアン情報量規準などとも呼ばれる、統計学における情報量規準の一つである。この規準は、回帰モデルが多くの項を含みすぎることに対してペナルティを課するものである。 一般的な形式は、次の通りである。 ここで、は尤度関数、は標本の大きさあるいは観測の数、は母数あるいは独立変
Pythonでx-means法を実装した - WEB SALAD
はじめに 最近、このままだと修士論文がすごくシンプルな内容になりそうなことに気づいたので、ページ数を稼ぐためによりよい示唆を得るために、何か分析を足す必要が出てきました。 色々考えた結果、x-means法によるクラスタリングを行うことにしたのですが、同手法のPythonによる実装が見つからなかったので、勉強も兼ねて自分で書くことにしました。 x-means法とは x-means法はk-means法を拡張したものであり、後者が実行時にあらかじめクラスタ数を指定しなければいけないのに対し、最適なクラスタ数を自動で推定できる点が優れています。 その基本となるアイデアはPelleg and Moore(2000)で初めて提案されました。 今回は、これに改良を加えた石岡(2000)の手法を実装しました。 実装 肝心のコードですが、ここに掲載するには少し長いので、Gistに上げておきました。 Impl
適切なクラスタ数を推定するX-means法 - kaisehのブログ
K-means法によるクラスタリングでは、あらかじめクラスタ数Kを固定する必要があります。HatenarMapsでもK-means法を使っているのですが、クラスタ数は（特に根拠もなく）200個に決め打ちになっていました。 これに対して、X-means法というK-means法の拡張が提案されていることを知りました。X-means法を使うと、データに応じて最適なクラスタ数を推定できます。 K-means and X-means implementations http://www-2.cs.cmu.edu/~dpelleg/download/xmeans.pdf X-means法の考え方は、K=2で再帰的にK-means法を実行していくというもので、クラスタの分割前と分割後でBIC（ベイズ情報量規準）を比較し、値が改善しなくなるまで分割を続けます。 調べたところ、Javaのデータマイニングツー
)
Windows Administration: Introducing Windows Server 2008 Failover Clustering
このブラウザーはサポートされなくなりました。 Microsoft Edge にアップグレードすると、最新の機能、セキュリティ更新プログラム、およびテクニカル サポートを利用できます。 Windows の管理 Windows Server 2008 フェールオーバー クラスタリングの概要 Chuck Timon 概要 : フェールオーバー クラスタの管理スナップイン 新機能と強化点 バックアップおよび復元機能 Windows Server 2003 からの移行 目次 新しい管理インターフェイス 構成プロセスの強化 検証手順の組み込み 新しいクォーラム モデル セキュリティ機能の強化 ネットワーク機能の強化 記憶域との対話における信頼性の向上 組み込みの障害回復プロセス 新しいバックアップおよび復元機能 Windows Server 2003 サーバー クラスタからの移行 Windows NT
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
K-Shape法を用いて心電図データをクラスタリングしてみた - Qiita
paper.dvi
https://www.kamishima.net/archive/clustering.pdf