はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

決定木とは 目的変数に属する確率を複数の説明変数の組み合わせで算出する方法。 イメージは以下で、Yes/Noなどの条件に属するかどうかで確率を算出する。 ランダムフォレストとは ランダムフォレストは、アンサンブル学習法(複数の分類器を集めて構成される分類器)の一つ。 決定木を複数集めて使うので、木が集まってフォレスト（森）として使う。 やってみる(sklearnでの決定木) データ用意 ランダムに作ったデータを用意する。 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn %matplotlib inline from sklearn.datasets import make_blobs # ダミーデータの生成用 X, y = make_blobs(n_samples=5

K近傍法とは KNN(K Nearest Neighbor)。クラス判別用の手法。 学習データをベクトル空間上にプロットしておき、未知のデータが得られたら、そこから距離が近い順に任意のK個を取得し、多数決でデータが属するクラスを推定する。 例えば下図の場合、クラス判別の流れは以下となる。 １　既知のデータ(学習データ)を黄色と紫の丸としてプロットしておく。 ２　Kの数を決めておく。K=3とか。 ３　未知のデータとして赤い星が得られたら、近い点から３つ取得する。 ４　その３つのクラスの多数決で、属するクラスを推定。 今回は、未知の赤い星はClass Bに属すると推定する。 ※Kの数次第で結果が変わるので注意。K=6にすると、赤い星はClass Aと判定される。 利用データ用意 sklearnでirisのデータセットを用意。 from sklearn.datasets import load_

SVMとは Support Vector Machineの略。 学習データを用いて複数のクラスを分類する線を得て(学習モデル作成)、未知のデータ属する分類を推定する方法。 SVMでの分類の概要 元の次元から1つ低い平面を超平面と呼び、最適な超平面(分離面)を探す。 例えば下図だと、黒丸と白丸を分離する線(H1やH2)を引くことを実施する。 (この図は、X1とX2の二次元のデータを表しているが、H1やH2は直線で1次元。 もし三次元のデータがインプットなら、2次元で分類できる平面を探すことになる。) 最適な分離面の探し方は、マージンが最大になる分離面を探索する。 マージンとは、図でいう灰色の線で、各クラスの点から分離面への垂線の距離。 例えば、H1もH2も黒丸と白丸を分類する分離面と言えるが、マージンが大きいH2の方が分類力が高い。（H3は分類すらできてないので全然ダメ。） カーネルトリック