タグ

ブックマーク / deepage.net (7)

  • Attentionで拡張されたRecurrent Neural Networks

    Neural Turing Machines ソースコード Attentionインターフェース Adaptive Computation Time コード Neural Programmer ソースコード 総括的な今後の展望 参考 記事はAttention and Augmented Recurrent Neural Networksの著者の許諾を得て翻訳しました。 Recurrent Neural Networksは、文章や音声、動画などの順序を持つデータをニューラルネットワークで扱うことができるディープラーニングの重要な要素のうちの1つです。 RNNを使うことで、一連の順序に現れるパターンを抽象的に理解して、注釈をつけたり、まったくのゼロから一連のデータを生成することすらできるのです! シンプルなRNNの設計では、長期の時系列データには苦戦しますが、「long short-term

    Attentionで拡張されたRecurrent Neural Networks
  • deep_learning

    ディープラーニングを使ってプログラミングの構文エラーを自動で検知して修復する研究が進んでいます。記事では、RNNを使った構文エラーを自動修復する技術の紹介をします。

    deep_learning
    hsato2011
    hsato2011 2018/06/20
  • RNN:時系列データを扱うRecurrent Neural Networksとは

    Recurrent Neural Networksとは何か RNNの応用事例 機械翻訳 音声認識 画像の概要生成 説明文からの画像生成 知っておくと便利なRNNの種類と進化 Simple RNN LSTM GRU Bi-directional RNN Attention RNN Quasi-Recurrent Neural Network TensorFlowによるRNNの実装 まとめ 参考文献 人間は、目の前で起きた出来事から、次に起こりそうな出来事を予測しながら文脈を読んで判断を下すことができます。例えば、車を運転している際に歩行者が飛び出しそうだと思えば、十分な間隔を置いて走行することが出来るでしょう。 また、現実世界は時間の制約を受ける事象はたくさんあります。アニメーションなどのストーリーでは、前回の文脈を前提として次の展開が進んでいきます。 Recurrent Neural Ne

    RNN:時系列データを扱うRecurrent Neural Networksとは
    hsato2011
    hsato2011 2018/05/21
    LSTM deeplearning 説明が良い わかりやすい 輪講
  • numpy.newaxisで配列に次元(ndim)を追加する方法

    定数np.newaxisを用いた方法 np.reshape関数での代用 両者の比較 参考 NumPyの配列に次元を追加する方法は主に2つあります。np.newaxisをスライシングに指定する方法とnp.reshapeを使う方法です。この2つを比較しながら、使い方を紹介します。 定数np.newaxisを用いた方法 NumPy配列(ndarray)のスライシングにnp.newaxisを指定する方法がよく使われます。この定数を使うことで、使われた次元に要素数1の新たな軸(axis)を追加することになります。np.newaxis自体はNoneへの参照です。 In [1]: import numpy as np In [2]: np.newaxis is None Out[2]: True np.newaxisをNoneで代用することも可能ですが、コードの分かりやすさという面で次元を追加する場合に

    numpy.newaxisで配列に次元(ndim)を追加する方法
    hsato2011
    hsato2011 2018/01/23
    python次元追の方法
  • numpy-empty.html

    np.emptyの引数には、第一引数に生成したい配列の形状(shape)を、第二引数にデータ型(dtype)を、そして最後に配列のデータの保存の仕方を指定します。最後の引数は、Fortranのような順序を指定する場合に使われるもので、あまり使用されません。 実際のコードで使い方を見ていきましょう。 In [1]: import numpy as np In [2]: np.empty(10) # 値を初期化しない1次元配列 Out[2]: array([ -0.00000000e+000, -1.49457395e-154, 2.26371905e-314, 2.26388775e-314, 2.26388851e-314, 2.26388892e-314, 2.25992832e-314, 0.00000000e+000, 2.24756287e-314, 7.08067556e-309

    numpy-empty.html
    hsato2011
    hsato2011 2017/12/22
    numpy empty
  • NumPyの軸(axis)と次元数(ndim)とは何を意味するのか

    ndarrayの次元数(ndim)とは何か axisについて 関数の引数としてのaxis NumPyのndarrayは、NumPy操作をするための多次元配列です。多次元の構造はndarray.shapeで確認することができます。 多次元構造を操作するために必須となるのが、軸(axis)を正しく理解することです。多次元の配列構造を処理するために、NumPyの関数の引数には、axisを指定することが出来る場面が多々あります。 他の記事において、要素の合計を計算するnp.sum関数、要素の平均を計算するnp.average関数、最大の要素を探すnp.amax関数などを紹介してきましたが、それぞれの関数の中で引数としてaxisがあります。 これは配列の軸にあたるものですがどの軸がどの次元に対応しているのか分かりにくいことが多いです。 そのため、記事では、 次元数とはなにか 軸(axis)とは何か

    NumPyの軸(axis)と次元数(ndim)とは何を意味するのか
    hsato2011
    hsato2011 2017/12/22
  • 定番のConvolutional Neural Networkをゼロから理解する

    Convolutional Neural Networkとは何か CNNで解決できる問題 Convolutional Neural Networkの特徴 畳み込みとは 合成性 移動不変性 Convolutional Neural Networkの構成要素 ゼロパディング(zero padding) ストライド Fully Connected層 Fully Connected層の問題点 Convolution層 Pooling層 TensorFlowによる実装 TensorFlowのインストール CNNでMNIST文字認識する 参考 近年、コンピュータビジョンにおける最もイノベーションと言えるのはConvolutional Neural Networkといっても過言ではない。 コンピュータビジョンの業界におけるオリンピックとも言えるコンペティションがImageNetである。 そのコンペティシ

    定番のConvolutional Neural Networkをゼロから理解する
  • 1