タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
K-meansのクラスタ数を決めるのにエルボー法を使うのはやめよう、という論文 - 渋谷駅前で働くデータサイエンティストのブログ
クラスタリングに用いられるK-meansのクラスタ数決定方法については長く議論されてきた歴史があり、このブログでも以前ちょろっと取り上げたことがあります。 で、Twitterを眺めていたらタイムラインに面白い論文が流れてきました。それがこちらです。 タイトルを読んで字の如く「K-meansのクラスタ数を決めるのにエルボー法を使うのはやめろ」という論文なんですね。全体で7ページと非常にコンパクトで読みやすい内容なので、簡単にまとめて紹介してみようと思います。なおいつもながらですが、僕の技術的理解が不足しているが故の誤りなどが混じる可能性がありますので、その際はコメント欄などでご指摘くださると幸いです。 あるtoy dataに対するK-meansの結果 目検に頼らないエルボー法について考える ならば、既存のクラスタ数決定法の中では何を選ぶべきか そもそもK-meansが有効でないケースもあるこ
k-means法を用いて画像をドット絵風に変換する
はじめに k-means法を用いて画像を減色しドット絵風に変換するWebアプリを作りました。 (よろしければstarを頂けると幸いです) 変換例 Lenna k=4 75x75 Mandrill k=8 50x50 海中のイラスト k=12 54x30 寿司のイラスト k=16 34x21 方針 k-means法を利用します。処理の流れは以下の通りです。 ランダムにK(定数)個の画素を選び、クラスタ分けに用いる代表色を決定する。 各画素について、最も近い代表色を選びクラスタ分けをする。 各クラスタについて平均色を計算し、新たな代表色とする。 上記の処理でクラスタの割当てが変化しない、または変化量が閾値を下回った場合に収束したと判断して処理を終了する。そうでなければ処理を繰り返す。 実装 画像の読み込み ImageDataで画像データを取得し、pixelsに入れ直しています。 export
始めに 最近、M2 Macbook Airを入手したBudoこと荻本です。 この記事では、教師なし学習であるK-meansやその発展形のアルゴリズムについて調査を行ったので、いくつかの手法を紹介したいと思います。 K-meansとは 教師なし学習の手法の一つです。 非階層クラスタリング手法であり、以下のような工程となります。 各点に対しランダムにクラスタリングを行う 各クラスタに割り当てられた点について重心を計算する 各点について上記で計算された重心からの距離を計算し、距離が一番近いクラスタに割り当て直す 2.と3.の工程を、割り当てられるクラスタが変化しなくなるまで行う 図で表現すると下記のように(a)→(b)→(c)→(d)のような順序を辿ってクラスタが収束していくイメージです。 (b)の段階でまず各点に適当にクラスタが割り振られ、その重心が計算されます(重心は赤星で図示)。 (c)で
K-Meansは個人的にも好きなアルゴリズムで、教師あり学習を必要とせず、混沌とした中からパターンを見つけ出してくれる可能性があります。 実際、実践で使うとそのような都合の良いデータはほとんどなく、むしろ 仮説を否定する場合に使う方が現実的かもしれません。 自分の場合、顧客のセグメント分けに使うことが多いです。 ステップ 1. ランダムに k 個のデータポイントを初期のセントロイドとして選ぶ。 ステップ 2. トレーニングセット内のデータポイントと k 個のセントロイドの距離（ユークリッド距離）を求める。 ステップ 3. 求めた距離に基づいて、データポイントを一番近いセントロイドに割り当てる。 ステップ 4. 各クラスタグループ内のポイントの平均を取ることでセントロイドの位置を更新する。 ステップ 5. ステップ 2 から 4 をセントロイドが変化しなくなるまで繰り返します。 以下、シンプ
k-meansのクラスター数の決定に情報量規準（BIC）を使用するのはどうか？（結論いいのではないか？） - tomtom58’s blog
はじめに なぜ適切だと思うのか 完全に余談（混合ガウスモデルとk-meansの関係性に関して） 最後に はじめに 以前こんな記事を読みました tjo.hatenablog.com 私も尊敬しているTJOさんの記事ですね、内容的にはエルボー法はよくないよね、BICとかのほうがいいんじゃない？的なものでした。 余談をすると、私が理論に重きを置き始めたのは100%TJOさんの影響でした。元々はなんちゃってデータサイエンティストの一員だったのですが、TJOさんのツイートに触発されて、データサイエンティストたるもの確固たる理論知識の裏付けがあるべきという思想に目覚め、最近に至るわけです。LightGBMとXgboostの記事をリツイートされたときは跳ねて喜びましたww 余談はおいておいて、この記事を読んだ時がちょうどエルボー法を実務で使用していたんですよね、そしてクラスタリング手法としてk-mean
$k$-means has historically been positioned primarily as an offline processing primitive, typically used for dataset organization or embedding preprocessing rather than as a first-class component in online systems. In this work, we revisit this classical algorithm under the lens of modern AI system design and enable $k$-means as an online primitive. We point out that existing GPU implementations of
k-means++を理解する - Qiita
はじめに 以前k-meansに関する記事を投稿しました。 k-meansは初期値依存という問題を抱えているため、その克服を目指したk-means++というアルゴリズムが開発されています。 今回はk-means++について勉強した内容をまとめました。 参考 k-means++の理解に当たって下記を参考にさせていただきました。 言語処理のための機械学習入門 (自然言語処理シリーズ) 高村 大也 (著), 奥村 学 (監修) 出版社; コロナ社 機械学習のエッセンス 加藤公一(著) 出版社; SBクリエイティブ株式会社 k-means++法 - Wikipedia k-means++について k-meansの復習 k-meansの概要 k-meansは、まずデータを適当なクラスタに分けた後、クラスタの平均を用いてうまい具合にデータがわかれるように調整させていくアルゴリズムです。任意の指定のk個の
A major challenge when using k-means clustering often is how to choose the parameter k, the number of clusters. In this letter, we want to point out that it is very easy to draw poor conclusions from a common heuristic, the "elbow method". Better alternatives have been known in literature for a long time, and we want to draw attention to some of these easy to use options, that often perform better
scikit-learnのk-meansでirisデータをクラスタリングしてみよう！【サンプルコード有り】 ｜ 自動化ラボっ！
はじめに Pythonの機械学習モジュールであるscikit-learnは数多くの機械学習アルゴリズムをカンタンに使うことができることがわかりました。これまでは本ブログで紹介したのはいわゆる「教師あり学習」の問題が多かったのですが、今回は「教師なし」のアルゴリズムであるクラスタリングを行うこととしましょう。 ちなみに、教師あり、なしとはよく言いますが概要を述べると、教師あり学習は 教師あり学習（きょうしありがくしゅう, 英: Supervised learning）とは、機械学習の手法の一つである。事前に与えられたデータをいわば「例題（＝先生からの助言）」とみなして、それをガイドに学習（＝データへの何らかのフィッティング）を行うところからこの名がある。 出典: フリー百科事典『ウィキペディア（Wikipedia）』 これに対して、教師なし学習は 教師なし学習（きょうしなしがくしゅう, 英:
K-means clustering is a type of unsupervised learning when we have unlabeled data (i.e., data without defined categories or groups). Clustering refers to a collection of data points based on specific similarities. K-Means AlgorithmK-means aims to find groups in the data, with the number of groups represented by the variable K. Based on the provided features, the algorithm works iteratively to assi
kaz / AI Academy on Twitter: "「筑波大学オープンコースウェア」を活用すると機械学習概論から単回帰・重回帰、SVM、k-means,PCA,ニューラルネットワーク,CNN,RNN,GANなどが全て「無料」で学べます。 上記20本が講義動画で登録なしで学べます。… https://t.co/qoD0vhifGz"
「筑波大学オープンコースウェア」を活用すると機械学習概論から単回帰・重回帰、SVM、k-means,PCA,ニューラルネットワーク,CNN,RNN,GANなどが全て「無料」で学べます。 上記20本が講義動画で登録なしで学べます。… https://t.co/qoD0vhifGz
GitHub - gametorch/image_to_pixel_art_wasm: An open source "Rust ↦ WASM, k-Means Color Quantization" crate for Image-to-Pixel-Art conversions in the browser
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
概要 k-means法とデンドログラムを表示するPythonのコードを作成しました。k-means法とデンドログラムは、データをクラスタリング（グループ化）するための代表的な手法です。クラスタリングは、データを似た特徴を持つグループに分けるために使用されます。k-means法は、ユーザーが指定したクラスタの数に基づいてデータを分割し、各クラスタの中心点（セントロイド）を見つけることを目的としています。一方、デンドログラムは、階層的クラスタリングを視覚化するための図であり、データがどのように逐次的にクラスタに結合されていくかを示します。 これらの手法は、マーケティング、バイオインフォマティクス、画像処理など、様々な分野で広く利用されています。 コード全文 import numpy as np import pandas as pd import matplotlib.pyplot as pl
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
K-meansの発展形アルゴリズムG-meansとX-means
K-Meansクラスタリング scikit-learnを使わずゼロから実装する(Python)｜｜es
Flash-KMeans: Fast and Memory-Efficient Exact K-Means
Stop using the elbow criterion for k-means and how to choose the number of clusters instead
K-Means Clustering for Unsupervised Machine Learning
機械学習等で使われる、統計学のk-means法とデンドログラムについて - Qiita
junichi.bx.coresv.com
news.yahoo.co.jp
hkmn.jp
jisin.jp
techfeed.io
kenbunroku-net.com