クラスタリング (クラスター分析) - Toshihiro Kamishima
クラスタリング (clustering) とは，分類対象の集合を，内的結合 (internal cohesion) と外的分離 (external isolation) が達成されるような部分集合に分割すること [Everitt 93, 大橋 85] です．統計解析や多変量解析の分野ではクラスター分析 (cluster analysis) とも呼ばれ，基本的なデータ解析手法としてデータマイニングでも頻繁に利用されています． 分割後の各部分集合はクラスタと呼ばれます．分割の方法にも幾つかの種類があり，全ての分類対象がちょうど一つだけのクラスタの要素となる場合(ハードなもしくは，クリスプなクラスタといいます)や，逆に一つのクラスタが複数のクラスタに同時に部分的に所属する場合(ソフト，または，ファジィなクラスタといいます)があります．ここでは前者のハードな場合のクラスタリングについて述べます．
t-SNEによるイケてる次元圧縮&可視化 - Qiita
こんにちは，クラスタリング&可視化おじさんです． 本記事は「機械学習と数学」Advent Calendar14日目です． (ちなみにAdvent Calendar初投稿です．よろしくお願いします) はじめに データ分析とか機械学習やられてる方は高次元データの次元削減と可視化よくやりますよね． この分野の代表選手といえばPCA(主成分分析)とかMDS(多次元尺度構成法)ですが， これらの線形変換系手法には以下の問題があります． 高次元空間上で非線形構造を持っているデータに対しては適切な低次元表現が得られない 「類似するものを近くに配置する」ことよりも「類似しないものを遠くに配置する」ことを優先するようアルゴリズムが働く 1.に関して，よく例に出されるのがSwiss roll dataset(下図)のようなヤツですね． PCAはデータが多次元正規分布に従うことを仮定しているので， その仮定から
t-SNE
研究室での論文紹介スライド． Laurens van der Maaten, Geoffrey Hinton, ”Visualizing Data using t-SNE”, Journal of Machine Learning Research (2008) pp.1-48
高次元のデータを可視化するt-SNEの効果的な使い方
t-SNEは、高次元のデータを可視化する手法としては、非常に便利ですが、時々不可解な挙動をしたり、誤解を招くような可視化をすることがあります。 シンプルなデータを可視化して動作の仕組みを理解することで、t-SNEのより効果的な使い方を学ぶことができます。 t-SNEは、高次元のデータを調査するための手法として、2008年にvan der MaatenとHintonによって発表 [1] された人気の手法です。 この技術は、数百または数千次元のデータですら無理やり2次元の「マップ」に落とし込むという、ほとんど魔法のような能力を備えているために、機械学習の分野で幅広く普及しています。 このような印象を持っている方が多いのですが、こういった捉え方をしていると誤解を招くこともあります。 この記事の目的は、よくある共通の誤解を解くためでもあります。 t-SNEで可視化できることと、できないことを説明す
特徴量選択の手法
特徴量選択の手法 1. 特徴量選択の手法 株式会社 サイバーエージェント メディアデベロップメント事業本部 エンジニア 大澤翔吾 2. 特徴量選択とは？ ● 使用可能なN個の特徴量 から 最適な部分集合を見つけること ● N個全てを使うことが最適とは限らない ● 特徴量を減らすことによって精度が向上することがある ● 特徴量が多すぎる場合、 学習処理の高速化や次元の呪いの軽減が期待できる {F1, F2,..., FN } 3. 特徴量選択手法の分類 ● Wrapper method – 候補の特徴量部分集合を用いて学習を行い、 テストセットに対する評価指標を計算 （log loss、MSEなど） – 全部分集合を探索できないので（指数オーダー） 近似的に探索する ● Filter method – 特徴量と目的変数の依存関係を定量化し、 依存の最も強いK個の特徴量を採用する 4. Wra
多目的最適化 - Pythonと機械学習
目次 目次 はじめに パレート最適解 多目的最適化の選択アルゴリズム サンプルコード コードの解説 スクリプトの実行結果 はじめに 最近たまたま多目的最適化を扱う機会があり、DEAPを使って最適化を実施したので、その時のメモです。 DEAPのチュートリアルに、GAでの多目的最適化の例があったので使わせてもらいました。 パレート最適解 多目的最適化の場合、一般的に最適解は1つに定まりません。 例えば2つの目的関数を、どちらもできるだけ小さくしたい場合を考えてみます。 1つ目の目的関数が最小値を取ったとしても、同じ設計変数で、もう一つの目的関数が最小値を取るとは限りません。 GAでの多目的最適化では、最終世代の個体の適応度(目的関数)をグラフにプロットしてやると、ある曲線上に乗ってきます。 この曲線のことをパレートライン(又はパレートフロント)と呼び、目的関数がパレートライン上に乗る解はパレー
Hello World - Machine Learning Recipes #1
Six lines of Python is all it takes to write your first machine learning program! In this episode, we'll briefly introduce what machine learning is and why it's important. Then, we'll follow a recipe for supervised learning (a technique to create a classifier from examples) and code it up. Follow https://twitter.com/random_forests for updates on new episodes! Subscribe to the Google Developers:
機械学習におけるカーネル法について - めもめも
何の話かというと 機械学習におけるカーネル法の説明で、よく登場するのがこちらの図です。 左側の (x, y) 平面上の点を分類する場合、このままだと線形分類器（直線で分類するアルゴリズム）ではうまく分類できないのが、右図のように z 軸を追加してデータを変形すると、平面できれいに分割できるようになって、線形分類器による分類がうまくいくというものです。このように、高次元空間にデータを埋め込むことでうまいこと分類するのがカーネル法の仕組みだというわけです。 なのですが・・・・・・・・・・・・・・・・・・・・ これ、本当にカーネル法の原理を知っている方には、ちょっと気持ち悪くないですか？ ※ 以下はカーネル法を知っている方向けのつぶやきです。 上記の例は、データの配置にあわせて、うまいこと z 軸方向の変形をしているのでうまくいっているのですが、カーネル法には、データの配置にあわせてうまいこと変
GitHub - amueller/introduction_to_ml_with_python: Notebooks and code for the book "Introduction to Machine Learning with Python"
This repository holds the code for the forthcoming book "Introduction to Machine Learning with Python" by Andreas Mueller and Sarah Guido. You can find details about the book on the O'Reilly website. The book requires the current stable version of scikit-learn, that is 0.20.0. Most of the book can also be used with previous versions of scikit-learn, though you need to adjust the import for everyth
コスト考慮型学習 - 機械学習の「朱鷺の杜Wiki」
コスト考慮型学習 (cost-sensitive learning)† 広義には特徴量の取得コストなどを考慮する学習も含まれるが，狭義には次のクラスの誤分類コストを考慮した問題をコスト考慮型学習 (cost-sensitive learning) と呼ぶことが多い． 予測正解率を最大化するのではなく，実用面でのコストを考慮して予測クラスを決定する学習手法．次のような場合を想定： クレジットカードの審査：不正利用を正規の利用と誤分類すると元本も含めた利益の損失となるが，正規の利用を不正利用として誤分類すると，利息分機会損失と，信用に対するダメージが生じる．このように，誤分類に非対称性がある． 検査でのスクリーニング：全数検査をするのは人員不足で無理だが，不良が疑われるサンプルだけを検査するために，不良の可能性があるものを抽出したい．良品を不良と誤分類してもあとの検査で良品と分かれば出荷できて
第3回 機械学習のためのベイズ最適化入門|Tech Book Zone Manatee
応用範囲が広く幅広い視点からの説明になりがちなベイズ最適化について、本記事では機械学習のハイパーパラメータ探索に利用することに限定して解説します。 1. はじめに 最近、ベイズ最適化という手法が注目を集めています。 ベイズ最適化 (Bayesian Optimization) とは、形状がわからない関数 (ブラックボックス関数) の最大値 (または最小値) を求めるための手法です。 ベイズ最適化についての入門記事は Web 上にすでにいくつかありますが、ベイズ最適化は応用範囲が広く、入門記事は様々な応用に向けた幅広い視点からの説明になりがちです。 本記事では、機械学習ユーザに向けて、ベイズ最適化を機械学習のハイパーパラメータ探索に利用することに限定して説明します。 これにより、機械学習に対して、ベイズ最適化がどのように利用できるのかを分かりやすく解説したいと思います。 2. ハイパーパラメ
The caret Package
1 Introduction The caret package (short for Classification And REgression Training) is a set of functions that attempt to streamline the process for creating predictive models. The package contains tools for: data splitting pre-processing feature selection model tuning using resampling variable importance estimation as well as other functionality. There are many different modeling functions in R.
統計的機械学習(Hiroshi Nakagawa)
統計的機械学習 (under construction) 導入ppt pdf 情報の変換過程のモデル化 ベイズ統計の意義 識別モデルと生成モデル 次元の呪い 損失関数, bias, variance, noise 数学のおさらいppt pdf 線形代数学で役立つ公式 情報理論の諸概念 (KL-divergenceなど) 指数型分布族、自然共役 正規分布(条件付き、および事前分布) 評価方法ppt pdf 順位なし結果の評価(再現率、精度、適合率、F値) 順位付き結果の評価 線形回帰と識別ppt pdf 線形回帰 正規方程式 正規化項の導入 線形識別 カーネル法ppt pdf 線形識別の一般化 カーネルの構築法 最大マージン分類器 ソフトマージンの分類器 SVMによる回帰モデル SVM実装上の工夫 モデル推定ppt pdf 潜在変数のあるモデル EMアルゴリズム 変分ベイズ法 Expecta
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
This page does not exist | Springer — International Publisher
Machine Learning: The High Interest Credit Card of Technical Debt
mlr tutorial
GitHub - mlr-org/mlr: Machine Learning in R