k近傍法について - Qiita
k近傍法とは KNN(K-Nearest Neighbor) クラス分類問題に使われる． データの類似度が高いものを検出するのに使う． 対象データとの距離によりどちらのグループに分類できるか判定する． 解説 以下の図の例では緑の円（対象データ）が青い四角と赤い三角の二つのグループどちらに分類されるのか計算する．特徴が2つの場合は以下のように2次元となるが，k個の特徴を持つ場合にはk次元となる．もっとも近い値を持つクラスに分類するのが最近傍法(Nearest Neighbour)． しかし，対象データはk=3とすると赤のグループに含まれるが，k=7として，点線内側を見ると青のグループのほうが数が多いのでこの場合，対象データは青四角のグループに含まれる方が正しい．これをk近傍法(k-Nearest Neighbour) という． ちなみに，k=4とするとどちら赤，青それぞれ2つずつ含まれるので
Doc2Vecとk-meansで教師なしテキスト分類 - Qiita
人間が分類したデータを教師データとしてテキスト分類をしている際に人間がデータの間に介在することによる弊害が出てきたので、教師なしのテキスト分類器を作ってみました。 人間がラベル付けすることによる問題点 階層構造にあるデータを並列にラベル付ける 人によって大きく判断が違ってくるようなラベルをつける 作業開始時点と終了時点でラベルの付け方が変わる 参考資料 コンピュータビジョン最先端ガイド6 (CVIMチュートリアルシリーズ) Deep Learning Tutorials Distributed Representations of Sentences and Documents, Le+, 2014 やったこと Doc2Vecで各文書について他の文書との類似度ベクトルを作成 SVDで次元圧縮 k-meansでクラスタリング k-meansでなくてグラフアルゴリズムで分類した方が良かったな、
K-meansクラスタリング - Qiita
2016年に作った資料を公開します。もう既にいろいろ古くなってる可能性が高いです。 本実習では教師なし学習の一種であるK-meansクラスタリングを行ないます。 K-means とは何か、知らない人は下記リンク参照↓ K-平均法のアルゴリズム クラスタリングの定番アルゴリズム「K-means法」をビジュアライズしてみた まずはサンプルデータの取得から # URL によるリソースへのアクセスを提供するライブラリをインポートする。 import urllib # ウェブ上のリソースを指定する url = 'https://raw.githubusercontent.com/maskot1977/ipython_notebook/master/toydata/SchoolScore.txt' # 指定したURLからリソースをダウンロードし、名前をつける。 urllib.urlretrieve(u
実務に役立つかどうかちょこっとだけk平均法によるクラスタリングを試してみた - Qiita
はじめに WEBサービスを運営していることから、レコメンデーションなどがとっつきやすい実例なのかもしれないと思い、軽く触ってみました。 専門的に設定値や軸などがそもそも正しいのかは置いておいて、仮定のような状態としてあります。 参考 scikit-learn による最も基本的なクラスタリング分析 scikit-learnのインストール 概要 例えば、お店を紹介するようなWEBサービスがあるとします。 WEBページは主に検索ページ、店舗ページ、CVの入力／確認ページ、CVの完了ページがあるとします。 ユーザの行動履歴を用いてユーザの検索意欲やCV意欲をクラスタリングできればと思います。 以下のプログラムコメントに記載はありますが、ページによってポイントを振って重みをつけてます。 また、ユーザの行動履歴を各店舗毎に最終閲覧ページ番号をランダムにデータとして用いてます。 プログラム #!/usr
3章 クラスタリング：関連のある文書を見つける - AI-Programming
前処理（preprocessing）過程 共通する単語の出現回数を類似度として計算する テキストデータをトークン化する 頻出もしくはその逆の単語を除く 残りの単語について出現回数をカウント 単語の出現回数からTF-IDFを計算する 本書で与えられているデータセット [01.txt] 'Most imaging databases safe images permanently.' [02.txt] 'Imaging databases store images. Imaging databases store images. Imaging databases store images.' [03.txt] 'Imaging databases store images.' [04.txt] 'Imaging databases can get huge.' [05.txt] 'This
Python: KMeans 法を実装してみる - CUBE SUGAR CONTAINER
KMeans 法は、機械学習における教師なし学習のクラスタリングという問題を解くためのアルゴリズム。 教師なし学習というのは、事前に教師データというヒントが与えられないことを指している。 その上で、クラスタリングというのは未知のデータに対していくつかのまとまりを作る問題をいう。 今回取り扱う KMeans 法は、比較的単純なアルゴリズムにも関わらず広く使われているものらしい。 実際に書いてみても、基本的な実装であればたしかにとてもシンプルだった。 ただし、データの初期化をするところで一点考慮すべき内容があることにも気づいたので、それについても書く。 KMeans 法の具体的なアルゴリズムについてはサンプルコードと共に後述する。 今回使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.12.3 BuildVersion
【Python】K-meansによるクラスタリング結果をPCAで次元削減して散布図にプロットする - Qiita
これをK-meansによりクラスタリングした上で、PCAで次元削減して散布図にプロットする。 K-meansのドキュメントはここ、PCAのドキュメントはここ、pyplotのドキュメントはここ。 # -*- coding: UTF-8 -*- import numpy as np from sklearn.cluster import KMeans from sklearn.decomposition import PCA import matplotlib.pyplot as plt # sample.csvを読み込む users = np.loadtxt('./sample.csv', delimiter=",") # K-meansによるクラスタリング model = KMeans(n_clusters=2).fit(users) # PCAで次元削減 pca = PCA(n_comp
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ラーメンと自然言語処理
K-means clustering using sklearn.cluster
pythonでクラスター分析（k-means法） ①
Pythonのクラスタ分析 (K-means 法)で住所をグルーピングしてグーグルマップに出力 – ponvire
PowerPoint プレゼンテーション