Lua版 ゼロから作るDeep Learning その１４［二層ニューラルネットワークの実装］ - Qiita
過去記事まとめ Lua版 ゼロから作るDeep Learning まとめ はじめに 今回は原書4章の二層ニューラルネットワークを実装します。 スクリプトは以下の通りです。 --Copyright (C) 2017 Kazuki Nakamae --Released under MIT License --license available in LICENSE file common = require './common' --[[***クラスの定義*******************************************************************]] --- simpleNetクラス（オブジェクト） -- 単純なニューラルネットワークを生成する -- @param input_size 入力層のニューロン数{Type:Tensor} -- @param
Lua版 ゼロから作るDeep Learning その１６［単純なレイヤの実装］ - Qiita
git clone https://github.com/Kazuki-Nakamae/Lua_DLfromScratch はじめに 前回は原書4章の二層ニューラルネットワークを実装し、それによるMNISTの学習処理を実装することになっていましたが、現状の数値微分による勾配算出では遅すぎるため、まず誤差逆伝搬法の実装をしてから学習実装したいと思います。 今回はまず単純な加算レイヤと乗算レイヤ実装です。スクリプトは以下の通りです。 --Copyright (C) 2017 Kazuki Nakamae --Released under MIT License --license available in LICENSE file --- MulLayerクラス（オブジェクト） -- 乗算レイヤを実装 MulLayer={} MulLayer.new = function() local ob
Lua版 ゼロから作るDeep Learning その１３［ニューラルネットワークに関する勾配］ - Qiita
--Copyright (C) 2017 Kazuki Nakamae --Released under MIT License --license available in LICENSE file common = require './common' --- simpleNetクラス（オブジェクト） -- 単純なニューラルネットワークを生成する -- @param isConstW 重みを固定 {Type:Bool} simpleNet={} simpleNet.new = function(isConstW) local obj={} --メンバ変数 if isConstW then --原書で紹介されている重みを使用 obj.W = torch.Tensor({{0.47355232, 0.9977393, 0.84668094}, {0.85557411, 0.03563661
Lua版 ゼロから作るDeep Learning その１２［勾配法］ - Qiita
require 'gnuplot' require './gradient_2d.lua' ---勾配探索関数. -- 与えられた関数と初期値で勾配を計算し、最終的な値とステップごとの勾配の値を返す。 -- @param f 入力値 (Type：function) -- @param init_x 初期値 (Type：1D Tensor) -- @param lr 学習率 (Type：number [default : 0.01]) -- @param step_num 最大ステップ数 (Type：number [default : 100]) -- @return 最終的な値, ステップごとの関数の値 (Type：1D Tensor, Tensor) function gradient_descent(f, init_x, lr, step_num) --デフォルト引数 if not l
Lua版 ゼロから作るDeep Learning その１１［勾配の算出］ - Qiita
require 'gnuplot' ---勾配算出関数. -- 入力値に対する多変数関数の勾配を求める -- @param f 多変数関数 (Type：function) -- @param x 入力値 (Type：Tensor ※1D Tensor) -- @return 入力値に対する勾配の値 (Type：Tensor) function _numerical_gradient_no_batch(f, x) local h = 1e-4 -- 0.0001 grad = x:clone():zero() for idx = 1, x:size()[1] do local tmp_val = x:float()[idx] x[idx] = tmp_val + h --一つの要素だけ動かす local fxh1 = f(x) -- f(x+h) x[idx] = tmp_val - h l
Lua版 ゼロから作るDeep Learning その６［ニューラルネットワークの推論処理］ - Qiita
require './activationFunc.lua' require './softmax.lua' require './exTorch.lua' require 'image' npy4th = require 'npy4th' --https://github.com/htwaijry/npy4th (Author:Hani Altwaijry) ---データ取得関数 -- MNISTのデータ取得する。 -- @return テストデータのイメージ ,テストデータのラベル {Type:ByteTensor} function get_data() --download local tar = 'http://torch7.s3-website-us-east-1.amazonaws.com/data/mnist.t7.tgz' if not paths.dirp('mnist
Lua版 ゼロから作るDeep Learning その７［バッチ処理］ - Qiita
require './activationFunc.lua' require './softmax.lua' require './exTorch.lua' npy4th = require 'npy4th' --https://github.com/htwaijry/npy4th (Author:Hani Altwaijry) ---データ取得関数 -- MNISTのデータ取得する。 -- @return テストデータのイメージ ,テストデータのラベル {Type:ByteTensor} function get_data() --画像データ local x_test = npy4th.loadnpy('x_test.npy') --ラベルデータ local t_test = npy4th.loadnpy('t_test.npy') return x_test, t_test end -
Lua版 ゼロから作るDeep Learning その８［損失関数］ - Qiita
---２乗和誤差算出関数 -- テンソル同士の２乗和誤差(∑(yi-ti)^2)/2を求める -- @param y 入力１、今回はNNが出力する確率リスト {Type:Tensor} -- @param t 入力２、今回は正解ラベルリスト {Type:ByteTensor} -- @return ２乗和誤差 {Type:number} function mean_squared_error(y, t) return ( y:double() - t:double() ):pow(2):sum() * 0.5 end local t = torch.Tensor({0,0,1,0,0,0,0,0,0,0}) local y = torch.Tensor({0.1, 0.05, 0.6, 0.0, 0.05, 0.1, 0.0, 0.1, 0.0, 0.0}) print(mean_squa
Lua版 ゼロから作るDeep Learning その5.5［pklファイルをLua Torchで使えるようにする］ - Qiita
#!/usr/local/bin/python3 # coding: utf-8 """ pklファイルの内容をnpzファイルへ出力する。 """ __author__ = "Kazuki Nakamae <kazukinakamae@gmail.com>" __version__ = "0.00" __date__ = "22 Jun 2017" import sys import numpy as np import pickle def pkl2npz(infn, outfn): """ @function pkl2npz(); pklファイルの内容をnpzファイルへ出力する。 @param {string} infn : 入力ファイル名 @param {string} outfn : 出力ファイル名 """ with open(infn, 'rb') as f: ndarr = p
Lua版 ゼロから作るDeep Learning その２［活性化関数］ - Qiita
require 'gnuplot' ---ステップ関数. -- 入力の各成分が０を超えたときに１を返す -- @param x 入力 (Type：torch.DoubleTensor) -- @return 1 or 0 (Type：torch.ByteTensor) function step_function(x) local y = torch.gt(x, 0) -- '>' 演算子の代わり return y end ---シグモイド関数. -- 入力の各成分に対するゲイン1の標準シグモイド関数（1/(1+exp(x))）の値を返す -- @param x 入力 (Type：torch.DoubleTensor) -- @return torch.DoubleTensor function sigmoid(x) y = x:clone():fill(1) return torch.c
Lua版 ゼロから作るDeep Learning その１[パーセプトロンの実装] - Qiita
---ANDゲート関数. -- 入力１、２の両方が入力されたときに１を返す -- @param x1 入力1 -- @param x2 入力2 -- @return 1 or 0 function AND(x1, x2) local x = torch.Tensor({x1, x2}) local w = torch.Tensor({0.5,0.5}) --重み local b = -0.7 --バイアス local temp = w:dot(x)+b -- torch.sum(w:cmul(x))+b とも書ける if temp <= 0 then return 0 else return 1 end end ---NANDゲート関数. -- 入力１、２の両方が入力されたときに０を返す -- @param x1 入力1 -- @param x2 入力2 -- @return 1 or 0
![Lua版 ゼロから作るDeep Learning その１[パーセプトロンの実装] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/759c338791accc7d890a6d2debb86f868dcd3976/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRmF2YXRhcnMuZ2l0aHVidXNlcmNvbnRlbnQuY29tJTJGdSUyRjEyNTE5MDU4JTNGdiUzRDM_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmZtPXBuZzMyJnM9ZjU1ODNjMWZlODg0NDFiNTRkODBjYjNjMjA0MTg0NWY%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D3471a908a3a09652ea5ff6186a961f89%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9THVhJUU3JTg5JTg4JTIwJUUzJTgyJUJDJUUzJTgzJUFEJUUzJTgxJThCJUUzJTgyJTg5JUU0JUJEJTlDJUUzJTgyJThCRGVlcCUyMExlYXJuaW5nJTIwJUUzJTgxJTlEJUUzJTgxJUFFJUVGJUJDJTkxJTVCJUUzJTgzJTkxJUUzJTgzJUJDJUUzJTgyJUJCJUUzJTgzJTk3JUUzJTgzJTg4JUUzJTgzJUFEJUUzJTgzJUIzJUUzJTgxJUFFJUU1JUFFJTlGJUU4JUEzJTg1JTVEJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9NGIzMjM3MWY1MWM0YWQ0NmJlYzc2ZGRkOTk4NDliMjQ%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBLYXp1a2ktTmFrYW1hZSZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPWZkMjY1N2UxOTg1OTExYTliOGZlYjQxNDVhODhhNmIw%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D51ad0c60c5dc6e5985546b6c4ab2dc9d)
Torchでdeeplearning その2 - Qiita
初めに 前記事でTorchの基本的な使い方を紹介したので今回は応用編としてパラメータの初期化やファインチューニング、その他便利ツール、ライブラリについて紹介します。 パラメータの初期化 torchのパラメータ初期化方法は様々ありますが単純な方法として以下の記述で行うことができます。 require 'nn' fc = nn.Linear(10,10) fc.weight:uniform(-0.1, 0.1) 上記コードは入力10ユニット、出力10ユニットの全結合層に対し、重みを[-0.1,0.1]の範囲で初期化しました。uniform関数を他の関数に変えることで様々な方法で初期化を行えます。 また、nninitと言うlibraryが用意されており、これを使うことでxavierやDelving deep into rectifiers: Surpassing human-level perf
Torchでdeep learning - Qiita
#初めに この記事はTorchの基本的な使い方の解説?をします。ちょっとした応用や便利ツールなどはこちら caffe,chainer,theanoとdeeplearningライブラリを使ってきて最近torchに乗り換えたのでtorchについてのチュートリアルをまとめます。 コードはこちらの公式チュートリアルの2_supervisedを参考にしました。 #torchについて 日本ではdeeplearningのライブラリといえばcaffeに始まり、最近勢いのあるTensorflowや日本で開発がされているchainerなどが主流で、あまりtorchは使われていないように思えます。しかし、世界的にはtorchは主流のdeeplearningライブラリで、Facebookが使用していることでも有名です。画像処理における最新の手法の実装も多く、Fast R-CNNで使われているROIPoolingや
Seq2Seqモデルを用いたチャットボット作成 〜英会話のサンプルをTorchで動かす〜 | ALGO GEEKS
最近、チャットボットが話題となっていますが、自然な会話を成り立たせること、は大きな課題の一つです。 ここでは、Deep Learningの一種である、Seq2Seqモデルを用いて、チャットボットを動作させてみます。 ゴールとして、英語を学習させ、実際に会話を行ってみることを目指します。 Seq2Seq (Sequence to Sequence) モデルとは 平たく言うと、ある文字列から、次の文字列を予測するモデルのことです。 上記の図では、「ABC」を入力として、「WXYZ」を出力 (予測) しています。 Seq2Seqモデルの対話タスクへの応用を試みたのがGoogleで、2015年に下記の論文を発表しています。 A Neural Conversational Model http://arxiv.org/abs/1506.05869 これまでの対話モデルは、ドメインを絞り (飛行機を予
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Introducing Torch Decision Trees
Lua版 ゼロから作るDeep Learning まとめ - Qiita
Lua版 ゼロから作るDeep Learning その９［損失関数（バッチ対応版）］ - Qiita