共役勾配法によるニューラルネットのパラメータ推定 - 人工知能に関する断創録
Courseraの機械学習ネタの続き。前回は、ロジスティック回帰のパラメータ推定（2014/4/15）に共役勾配法（Conjugate Gradient: CG法）を使いました。今回はより複雑なニューラルネット（多層パーセプトロン）のパラメータ推定に共役勾配法を適用してみました。 以前、多層パーセプトロンで手書き数字認識の実験をしたとき（2014/2/1）は、共役勾配法ではなく、勾配降下法（Gradient Descent）を用いてパラメータの更新式を自分で書いていました。 self.weight1 -= learning_rate * np.dot(delta1.T, x) self.weight2 -= learning_rate * np.dot(delta2.T, z) 勾配降下法は、学習率（learning rate）を適切な値に設定しないと収束が遅い、発散するなど欠点があります
Machine Learning with Scikit Learn (Part II) - 人工知能に関する断創録
Machine Learning with Scikit Learn (Part I)（2015/8/10）のつづき。今回は、後編のPartIIの動画の内容を簡単にまとめたい。 4.1 Cross Validation ラベル付きデータが少ないときに有効な評価法であるK-fold cross-validationについての説明。訓練データをK個のサブセットに分割し、そのうち1つのサブセットをテストデータに残りK-1個のサブセットを訓練データにして評価する。これをテストデータを入れ替えながらK回評価し、その平均を求める。 この手順は下のように書ける。bool型のマスクを使ってテストデータと訓練データをわけている。 k = 5 n_samples = len(X) fold_size = n_samples // k scores = [] masks = [] for fold in ran
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
