Lua版 ゼロから作るDeep Learning その１４［二層ニューラルネットワークの実装］ - Qiita
過去記事まとめ Lua版 ゼロから作るDeep Learning まとめ はじめに 今回は原書4章の二層ニューラルネットワークを実装します。 スクリプトは以下の通りです。 --Copyright (C) 2017 Kazuki Nakamae --Released under MIT License --license available in LICENSE file common = require './common' --[[***クラスの定義*******************************************************************]] --- simpleNetクラス（オブジェクト） -- 単純なニューラルネットワークを生成する -- @param input_size 入力層のニューロン数{Type:Tensor} -- @param
Lua版 ゼロから作るDeep Learning その１６［単純なレイヤの実装］ - Qiita
git clone https://github.com/Kazuki-Nakamae/Lua_DLfromScratch はじめに 前回は原書4章の二層ニューラルネットワークを実装し、それによるMNISTの学習処理を実装することになっていましたが、現状の数値微分による勾配算出では遅すぎるため、まず誤差逆伝搬法の実装をしてから学習実装したいと思います。 今回はまず単純な加算レイヤと乗算レイヤ実装です。スクリプトは以下の通りです。 --Copyright (C) 2017 Kazuki Nakamae --Released under MIT License --license available in LICENSE file --- MulLayerクラス（オブジェクト） -- 乗算レイヤを実装 MulLayer={} MulLayer.new = function() local ob
Lua版 ゼロから作るDeep Learning その１３［ニューラルネットワークに関する勾配］ - Qiita
--Copyright (C) 2017 Kazuki Nakamae --Released under MIT License --license available in LICENSE file common = require './common' --- simpleNetクラス（オブジェクト） -- 単純なニューラルネットワークを生成する -- @param isConstW 重みを固定 {Type:Bool} simpleNet={} simpleNet.new = function(isConstW) local obj={} --メンバ変数 if isConstW then --原書で紹介されている重みを使用 obj.W = torch.Tensor({{0.47355232, 0.9977393, 0.84668094}, {0.85557411, 0.03563661
Lua版 ゼロから作るDeep Learning その１２［勾配法］ - Qiita
require 'gnuplot' require './gradient_2d.lua' ---勾配探索関数. -- 与えられた関数と初期値で勾配を計算し、最終的な値とステップごとの勾配の値を返す。 -- @param f 入力値 (Type：function) -- @param init_x 初期値 (Type：1D Tensor) -- @param lr 学習率 (Type：number [default : 0.01]) -- @param step_num 最大ステップ数 (Type：number [default : 100]) -- @return 最終的な値, ステップごとの関数の値 (Type：1D Tensor, Tensor) function gradient_descent(f, init_x, lr, step_num) --デフォルト引数 if not l
Lua版 ゼロから作るDeep Learning その１１［勾配の算出］ - Qiita
require 'gnuplot' ---勾配算出関数. -- 入力値に対する多変数関数の勾配を求める -- @param f 多変数関数 (Type：function) -- @param x 入力値 (Type：Tensor ※1D Tensor) -- @return 入力値に対する勾配の値 (Type：Tensor) function _numerical_gradient_no_batch(f, x) local h = 1e-4 -- 0.0001 grad = x:clone():zero() for idx = 1, x:size()[1] do local tmp_val = x:float()[idx] x[idx] = tmp_val + h --一つの要素だけ動かす local fxh1 = f(x) -- f(x+h) x[idx] = tmp_val - h l
Lua版 ゼロから作るDeep Learning その６［ニューラルネットワークの推論処理］ - Qiita
require './activationFunc.lua' require './softmax.lua' require './exTorch.lua' require 'image' npy4th = require 'npy4th' --https://github.com/htwaijry/npy4th (Author:Hani Altwaijry) ---データ取得関数 -- MNISTのデータ取得する。 -- @return テストデータのイメージ ,テストデータのラベル {Type:ByteTensor} function get_data() --download local tar = 'http://torch7.s3-website-us-east-1.amazonaws.com/data/mnist.t7.tgz' if not paths.dirp('mnist
Lua版 ゼロから作るDeep Learning その７［バッチ処理］ - Qiita
require './activationFunc.lua' require './softmax.lua' require './exTorch.lua' npy4th = require 'npy4th' --https://github.com/htwaijry/npy4th (Author:Hani Altwaijry) ---データ取得関数 -- MNISTのデータ取得する。 -- @return テストデータのイメージ ,テストデータのラベル {Type:ByteTensor} function get_data() --画像データ local x_test = npy4th.loadnpy('x_test.npy') --ラベルデータ local t_test = npy4th.loadnpy('t_test.npy') return x_test, t_test end -
Lua版 ゼロから作るDeep Learning その８［損失関数］ - Qiita
---２乗和誤差算出関数 -- テンソル同士の２乗和誤差(∑(yi-ti)^2)/2を求める -- @param y 入力１、今回はNNが出力する確率リスト {Type:Tensor} -- @param t 入力２、今回は正解ラベルリスト {Type:ByteTensor} -- @return ２乗和誤差 {Type:number} function mean_squared_error(y, t) return ( y:double() - t:double() ):pow(2):sum() * 0.5 end local t = torch.Tensor({0,0,1,0,0,0,0,0,0,0}) local y = torch.Tensor({0.1, 0.05, 0.6, 0.0, 0.05, 0.1, 0.0, 0.1, 0.0, 0.0}) print(mean_squa
Lua版 ゼロから作るDeep Learning その３［３層ニューラルネットワークの実装］ - Qiita
---ステップ関数. -- 入力の各成分が０を超えたときに１を返す -- @param x 入力 (Type：torch.DoubleTensor) -- @return 1 or 0 (Type：torch.ByteTensor) function step_function(x) local y = torch.gt(x, 0) -- '>' 演算子の代わり (greater -> gt ) return y end ---シグモイド関数. -- 入力の各成分に対するゲイン1の標準シグモイド関数（1/(1+exp(x))）の値を返す -- @param x 入力 (Type：torch.DoubleTensor) -- @return torch.DoubleTensor function sigmoid(x) y = x:clone():fill(1) return torch.cd
Lua版 ゼロから作るDeep Learning その２［活性化関数］ - Qiita
require 'gnuplot' ---ステップ関数. -- 入力の各成分が０を超えたときに１を返す -- @param x 入力 (Type：torch.DoubleTensor) -- @return 1 or 0 (Type：torch.ByteTensor) function step_function(x) local y = torch.gt(x, 0) -- '>' 演算子の代わり return y end ---シグモイド関数. -- 入力の各成分に対するゲイン1の標準シグモイド関数（1/(1+exp(x))）の値を返す -- @param x 入力 (Type：torch.DoubleTensor) -- @return torch.DoubleTensor function sigmoid(x) y = x:clone():fill(1) return torch.c
Reinforcement Learning for Torch: Introducing torch-twrl
Open source Reinforcement Learning for Torch: Introducing torch-twrl Advances in machine learning have been driven by innovations and ideas from many fields. Inspired by the way that humans learn, Reinforcement Learning (RL) is concerned with algorithms which improve with trial-and-error feedback to optimize future performance. Board games and video games often have well-defined reward functions w
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Lua版 ゼロから作るDeep Learning まとめ - Qiita
Lua版 ゼロから作るDeep Learning その９［損失関数（バッチ対応版）］ - Qiita
Lua版 ゼロから作るDeep Learning その５［MNIST画像の表示］ - Qiita
Lua版 ゼロから作るDeep Learning その４［ソフトマックス関数の実装］ - Qiita