はてなブックマーク

Single ImageからDepth Mapを推定するという論文 この後更に改良したバージョンの論文が出ています。 Depth Estimationはシーンの幾何学的な理解のために重要です。Stereo ImageからのDepth Estimationに比べてSingle ImageからのDepth Estimationは少ないです。Single ImageからのDepth Estimationでは、Depthの手がかりとなる、line angle, perspective, object size, image position, atmospheric effectを使う必要があります。GlobalなSceneではこのような関係は必要になるかもしれないけれど、LocalなSceneではStereoで十分です。 Sinｇle ImageからのDepth Estimationは、ill

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

import matplotlib.pyplot as plt import numpy as np t = np.linspace(-np.pi, np.pi, 1000) x1 = np.sin(2*t) x2 = np.cos(2*t) fig, (axL, axR) = plt.subplots(ncols=2, figsize=(10,4)) axL.plot(t, x1, linewidth=2) axL.set_title('sin') axL.set_xlabel('t') axL.set_ylabel('x') axL.set_xlim(-np.pi, np.pi) axL.grid(True) axR.plot(t, x2, linewidth=2) axR.set_title('cos') axR.set_xlabel('t') axR.set_ylabel('x')

Purpose & Motivation Purpose DNNモデルを性能を落とさずにできるだけ小さくしようというのがこの論文の目的です。 Motivation Small DNN Architectureが必要になるSceneとして３つ考えられます。 分散学習 Server間におけるOverheadを小さくするため 新しいModelを既存のNetworkにUpdate 自動運転Carなど既存の製品に新しいModelを取り込むときのOverheadを小さくするため FPGAなどのH/Wに実装する H/W Resourceに限りがあるため(e.g. Xilinx Vertex-7 FPGA 最大8.5MB) Strategy Smaller DNNにするための3つの戦略 Strategy 1. 3x3 filterを1x1 filterにする Parameterが1/9になる Strate

Linuxでファイルの圧縮、解凍方法をよく忘れるのでまとめておく。 忘れてもググればすぐ出てくるけど。 tar解凍全般 optionにz,j,J等の圧縮形式を指定しなくても、拡張子ファイル先頭の数バイトで判別して解凍してくれる ※@tetsu_kobaさんからコメントにより教えてもらいました tar -xvf xxx.tar.yy tar.gz 圧縮 tar -zcvf xxxx.tar.gz directory 解凍 tar -zxvf xxxx.tar.gz tar.bz2 圧縮 tar -jcvf xxxx.tar.bz2 directory 解凍 tar -jxvf xxxx.tar.bz2 tar.xz 圧縮 tar -Jcvf xxxx.tar.xz directory 解凍 tar -Jxvf xxxx.tar.xz tar 圧縮 tar -cvf xxxx.tar dire

PythonでPCAを行うにはscikit-learnを使用します。 PCAの説明は世の中に沢山あるのでここではしないでとりあえず使い方だけ説明します。 使い方は簡単です。 n_componentsはcomponentの数です。何も指定しないとデータの次元数になります。 あとは、fitにデータを渡すだけです。 from sklearn.decomposition import PCA pca = PCA(n_components=2) pca.fit(X)

XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks この論文は、二値化(binarization)によってNeural Networkの高速化と省メモリ化を図るというものです。 binarizationの対象は、weightとinputです。 このbinarizationによりメモリ使用量が1/32、速度が58倍速くなっています。 full 精度の性能と比較して2.9%以内の劣化にとどまっておりかつ、比較対象となっているBinaryConnectやBinaryNetと比べて**16%**性能が上回っています。 Deep Neural Networkでは、いろいろな分野で様々な成果をあげていますが、Parameter数が非常に多く、メモリと計算コストを大量に必要とします。例えば、この論文では

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deep Networks with Stochastic Depth この論文は、Very Deep なネットワークの学習を効率よく行うためのもので、特にResNetを対象としています。 この論文では確率的にLayer数（Depth）を変えることにより、汎化性能を高め同時に計算時間を短縮することで学習の効率をあげています。DropoutがノードをOffさせることで横方向にネットワークを小さくしているのに対し、Stochastic DepthはLayer数を変更することで縦方向にネットワークを小さくしています。 近年はより性能を向上させるためにLayer数を増やしてよりDeepなネットワークにする傾向にあります。しかしvery deepなモデルは以下の問題があります。 勾配の消失 繰り返し小さなWeightが乗算されることにより勾配が消失するというもの 対策には、「careful init

import numpy as np from keras.datasets import mnist from keras.models import Sequential from keras.layers.core import Dense, Dropout, Activation from keras.optimizers import SGD from keras.utils import np_utils import keras.callbacks import keras.backend.tensorflow_backend as KTF import tensorflow as tf batch_size = 128 nb_classes = 10 nb_epoch = 20 nb_data = 28*28 log_filepath = './log' # load da

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

import tensorflow as tf import numpy as np w = tf.Variable(tf.constant([3.]), name='w') b = tf.Variable(tf.constant([1.]), name='b') x = tf.Variable(tf.constant([2.]), name='x') y_ = tf.Variable(tf.constant([5.]), name='y_') p = w*x y = p+b s = -y t = s +y_ f = t*t gx, gb, gw, gp, gy, gy_,gs, gt, gf = tf.gradients(f, [x, b, w, p, y, y_,s, t, f]) init = tf.initialize_all_variables() opt = tf.train.

# # import # In[1]: import tensorflow as tf import numpy as np from tensorflow.examples.tutorials.mnist import input_data # # load dataset # In[2]: mnist = input_data.read_data_sets("./data/mnist/", one_hot=True) # # build model # In[3]: def mlp(x, output_dim, reuse=False): w1 = tf.get_variable("w1", [x.get_shape()[1], 1024], initializer=tf.random_normal_initializer()) b1 = tf.get_variable("b1", [

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Identity Mappings in Deep Residual Networks この論文は、ResNetのidentity mapping(skip connection)に関して、詳細は解析を行ったものです。 ResNetにおける重要な特徴は、残差$F$を学習することによって、100 layerを超えるdeepなNetworkでも安定した学習が行えるようにした点にあります。またResNetは、モジュール構造になっており、モジュールを単純に組み上げて行くことでDeepなArchitectureを実現しています。論文ではこのモジュ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Exponential Linear Units 問題、解決法、効果 解決したい問題は、勾配が消失して学習が進まなくなること(vanishing gradient problem) ↓ ELUは、activation関数を通ったあとの出力の平均を０に近づけることで、bias shiftを軽減している ↓ 学習が速く収束する（効率がよい） ReLUの問題点（bias shift) ・ReLUは、非負の関数（non-negative）なので、その出力の平均は０より大きくなる傾向になる（bias shift)。 ・それが次の層の入力となるので、Cancelする機能がないと、さらにbias shiftが起こる ・Unit毎の相関が高いほど、bias shiftが大きくなる その他のActivation関数 ReLUを改良したものには、 ・"Leaky ReLUs"(LReLUs) ・"Parame

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

import tensorflow as tf import numpy as np import scipy as sp import matplotlib.pyplot as plt from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets("./data/mnist/", one_hot=True) image_size = 28 n_labels = 10 n_batch = 128 n_train = 10000 beta = 0.001 def accuracy(y, y_): return 100.0 * np.sum(np.argmax(y, 1) == np.argmax(y_, 1)) / y.shape[0] with tf.variable

Deep Residual Learning for Image Recognition Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun ImageNetのCompetitionで１位になったMSRAの論文 ・network層をdeepにすることは性能向上に欠かせない。 ・しかし、Deepにすると性能が向上せずに悪くなることが知られている。（下のグラフ） ・これらはOverfittingによるものではなく、勾配が０になったり、発散したりするため。 これを解決しようというのがこの論文の趣旨 Residual Network 普通のNetwork $H(x)$が所望するmapping(求めたい変換） 2 weight layerをH(x)になるように学習する Residual Network ・$x$をshortcutして足し合わせると$H(

Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 Matthieu Courbariaux, Itay Hubara, Daniel Soudry, Ran El-Yaniv, Yoshua Bengio BinaryNetは、weightとactivationを2値化したhardware friendlyな**DNN(Deep Neural Network)**です。 論文ではactivationと書かれていますが、たぶん活性化関数の出力のことかなと思います。 要は重みにかけられる方の値です。 これにより以下の特徴が得られます。 ・１bitなのでメモリを劇的に減らせる ・掛け算器をXNORに置き換えられる（回路規模、処理

何も知らないで使うよりは、少しでも知っていたほうがいいだろうということで、 Batch Normalizationの論文を読んでみました。 Batch Normalization この論文は、データの新しい変換方法の提案論文です。 著者はBatch Normalizationと読んでいる。著者いわく、バッチ毎のデータの分布の違い（internal covariate shift)により、学習の収束がおそくなったり、初期値パラメータを慎重に決めなければならなかったと言っています。Batch Normalizationを導入することにより以下の利点があるそうです。 利点 ・学習が早く進む（learning rateに大きな値を使うことができる） ・初期値依存性を軽減できる ・初期化を気にしなくて良い ・Dropoutの必要性を減らせる Algorithm バッチごとに平均が０、分散が１になるよ

import cv2 import matplotlib.pyplot as plt import numpy as np I = cv2.imread('./data/SIDBA/Lenna.bmp') # blur Ib = cv2.blur(I, ksize=(5,5)) # Gaussian Ig = cv2.GaussianBlur(I, ksize=(5,5),sigmaX=2) # median Im = cv2.medianBlur(I, ksize=5) # bilateral Ibi = cv2.bilateralFilter(I, d=5, sigmaColor=5, sigmaSpace=2) fig, axes = plt.subplots(nrows=2, ncols=3, figsize=(15,10)) axes[0,0].imshow(cv2.cvtCol

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

In [51]: rszNN = cv2.resize(I, (I.shape[1]*2, I.shape[0]*2), interpolation=cv2.INTER_NEAREST) ...: rszBL = cv2.resize(I, (I.shape[1]*2, I.shape[0]*2), interpolation=cv2.INTER_LINEAR) ...: rszBC = cv2.resize(I, (I.shape[1]*2, I.shape[0]*2), interpolation=cv2.INTER_CUBIC) import numpy as np import cv2 import matplotlib.pyplot as plt I = cv2.imread('./data/SIDBA/Lenna.bmp') rszNN = cv2.resize(I, (I.s

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?