はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

load MNIST dataset epoch 1 graph generated train mean loss=0.189192938904, accuracy=0.9427833369 test mean loss=0.0907700556988, accuracy=0.971400004625 epoch 2 train mean loss=0.0753641784944, accuracy=0.977200009624 test mean loss=0.0728686049528, accuracy=0.977100006938 epoch 3 train mean loss=0.0482070475052, accuracy=0.984483343263 test mean loss=0.0654721940898, accuracy=0.981700006723 epoch

import numpy as np class SGDSVC(object): def __init__(self, kernel="rbf", lmd=1e-1, gamma=0.1, bias=1.0, max_iter=100): if kernel not in self.__kernel_dict: print(kernel + " kernel does not exist!\nUse rbf kernel.") kernel = "rbf" if kernel == "rbf": def kernel_func(x, y): return self.__kernel_dict[kernel](x, y, gamma=gamma) else: kernel_func = self.__kernel_dict[kernel] self.kernel = kernel_func

概要 SVM(Support Vector Machine)は分類精度の高い機械学習の手法として知られています. SVMでより高い分類精度を得るには, ハイパーパラメータを訓練データから決定する必要があります. この記事では, RBFカーネル(Gaussian カーネル)を用いたSVMのハイパーパラメータを調整することで, 決定境界がどのように変化するのかを解説します. 決めるべきハイパーパラメータ RBFカーネルを用いたSVMでは, 以下の2つのハイパーパラメータを調整します. コストパラメータ: $C$ RBFカーネルのパラメータ: $\gamma$ コストパラメータについて SVMは特徴空間に写像されたデータ点集合を分離する超平面を決定する手法です. しかし, 特徴空間上の点集合がいつも分離可能とは限りません. 例えば, 以下の図では二種類の記号を完璧に分割するような直線を引くことは

概要 標本から得られた分布が多峰型であったとき, 単純なガウス分布でモデル化するのは適切ではありません. 多峰型の分布は複数のガウス分布を組み合わせた混合ガウス分布を使ってモデル化することができます. この記事ではEMアルゴリズムを使って, 混合ガウス分布のパラメータを決定する例を紹介します. まずは単峰型分布から 最尤推定 標本を$x_n (n=1,…,N)$とします. ガウス分布の最尤推定によって, 平均と分散を以下の形で求めることができます. # -*- coding: utf-8 -*- import numpy as np import matplotlib.pyplot as plt import matplotlib.mlab as mlab import math # ヒストグラムをプロットする関数 def draw_hist(xs, bins): plt.hist(xs,

# -*- coding: utf-8 -*- import numpy as np import random # 評価関数: z = x^2 + y^2 def criterion(x, y): z = x * x + y * y return z # 粒子の位置の更新を行う関数 def update_position(x, y, vx, vy): new_x = x + vx new_y = y + vy return new_x, new_y # 粒子の速度の更新を行う関数 def update_velocity(x, y, vx, vy, p, g, w=0.5, ro_max=0.14): #パラメーターroはランダムに与える ro1 = random.uniform(0, ro_max) ro2 = random.uniform(0, ro_max) #粒子速度の更新を行う