外部メモリー付きのニューラルネット"Differentiable Neural Computing (DNC)"について解説するよ - Qiita
外部メモリー付きのニューラルネット"Differentiable Neural Computing (DNC)"について解説するよPython機械学習DeepLearningニューラルネットワークChainer この記事について DeepMind が Nature に投稿した論文 Hybrid computing using a neural network with dynamic external memory で使用されている "Differentiable Neural Computing (DNC)" について解説します。ロジックの説明がメインですが、Python - Chainer による実装例も紹介します。 Differentiable Neural Computing (DNC)とは sequential data を Neural Net で処理したいという欲求は昔からあ
Differentiable neural computers | DeepMind
Research Differentiable neural computers Published 12 October 2016 Authors Gregory Wayne, Alexander Graves In a recent study in Nature, we introduce a form of memory-augmented neural network called a differentiable neural computer, and show that it can learn to use its memory to answer questions about complex, structured data, including artificially generated stories, family trees, and even a map
深層学習論文の読解（AlexNet） - Qiita
投稿目的 英語で書かれた深層学習に関する論文を読むことは骨が折れます。そのため、本記事を読めば内容が分かる要約したものを書きたいと思いました。しかし、要約するには全体を正確に把握する必要がありますので、まずは論文翻訳を行いたいと思います。やり方ですが、Google翻訳して、それを私になりに解釈して修正しました。そのため、読んで分かり易いように、原文には記載されていない単語も組み入れて修正している点や、私自身が内容を掴み切れずにGoogle翻訳のままの意味不明な箇所があることをご留意頂ければと思います。今回の論文選定ですが、エポックメイキングなAlexNetにしました。 論文：ImageNet Classification with Deep Convolutional Neural Networks タイトル：深い畳み込みニューラルネットワークを用いたイメージネットの分類 年代：2012年
全結合のNNで層を深く（ディープに）することの意味 - Qiita
畳み込みではない、層間が全結合の順伝播型ニューラルネットワークにおいて、層を深く（ディープに）することには、どんな意味があるのでしょう。 何周遅れの話なんだという感じですが、自分でネットワークを実装してみて腹落ちしたような気がするので、投稿します。 ニューラルネットワークの動機 そもそも、コンピュータプログラムは、入力xを受け取り、出力yを返す関数fとして理解できます。なお、数学的な意味での関数と異なるのは、入出力等の副作用（side effect）を伴うところです。 プログラマは、小さな関数を重ね合わせたり（関数型言語）、手続きを並べたり（手続き型言語）、オブジェクト同士でメッセージのやり取りをしたり（オブジェクト指向言語）して、関数fを実装します。 ところが、何らかの理由で、関数fを直接書き下せないことがあります。一例を挙げれば、囲碁の局面を評価する評価関数。囲碁は、自然言語では「この
自動作曲AI Music Transformerの衝撃 - Qiita
〜AIが名曲を生み出す〜 この音楽を聴いてみてください。 See the Pen MusicTransformerDemo by NayuSato (@nayusato) on CodePen. 埋め込みが見られない場合はここ これはGoogleの自動作曲Music Transformerが生み出した曲の1つです。 入力は、最初の6秒だけ。 クラシックのドビュッシー「月の光」の冒頭6秒だけを与えて、その続きを全て作らせるというタスクを行わせています。 十分聴き入って感動できるような曲に仕上がっています。 ケチをつけられる点がないとは言わないけれど、「人の作った曲です」と言われても識別できないほどの精度になっています。 「Music Transformer」 2018年Googleが発表した自動作曲のAI。 自然言語処理のアルゴリズムであるTransformerを音楽に適用することにより、そ
Keras documentation: Keras Applications
The top-1 and top-5 accuracy refers to the model's performance on the ImageNet validation dataset. Depth refers to the topological depth of the network. This includes activation layers, batch normalization layers etc. Time per inference step is the average of 30 batches and 10 repetitions. CPU: AMD EPYC Processor (with IBPB) (92 core) RAM: 1.7T GPU: Tesla A100 Batch size: 32 Depth counts the numbe
Batch Normalizationとその派生の整理
概要 Deep Learningでは訓練データを学習する際は一般にミニバッチ学習を行います。 学習の1ステップでは巨大なデータセットの中から代表的なデータを一部取り出して、全体データの近似として損失の計算に使います。バッチことに平均の損失を計算することで、データ数に関係なく統一した学習をすることが狙いです。本記事ではニューラルネットワークの学習安定化を図るためのバッチ正規化手法“Batch Normalization”について議論します。 学習時の重みの初期値の重要性 勾配消失・過学習などに陥って学習に失敗した際、様々なことが要因のして考えられますが中でも見落としがちなのが重みの初期値です。各層の活性化関数の出力の分布は適度な広がりを持つことが求められます。適度に多様性を持ったデータが流れたほうが効率的な学習ができますが、偏ったデータが流れると勾配消失が起きる場合があります。そこで、初期値
Building Autoencoders in Keras
In this tutorial, we will answer some common questions about autoencoders, and we will cover code examples of the following models: a simple autoencoder based on a fully-connected layer a sparse autoencoder a deep fully-connected autoencoder a deep convolutional autoencoder an image denoising model a sequence-to-sequence autoencoder a variational autoencoder Note: all code examples have been updat
CS 230 - Convolutional Neural Networks Cheatsheet
By Afshine Amidi and Shervine Amidi Overview Architecture of a traditional CNN Convolutional neural networks, also known as CNNs, are a specific type of neural networks that are generally composed of the following layers: The convolution layer and the pooling layer can be fine-tuned with respect to hyperparameters that are described in the next sections. Types of layer Convolution layer (CONV) The
【決定版】スーパーわかりやすい最適化アルゴリズム -損失関数からAdamとニュートン法- - Qiita
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 深層学習を知るにあたって、最適化アルゴリズム(Optimizer)の理解は避けて通れません。 ただ最適化アルゴリズムを理解しようとすると数式が出て来てしかも勾配降下法やらモーメンタムやらAdamやら、種類が多くあり複雑に見えてしまいます。 実は、これらが作られたのにはしっかりとした流れがあり、それを理解すれば 簡単に最適化アルゴリズムを理解することができます 。 ここではそもそもの最適化アルゴリズムと損失関数の意味から入り、最急降下法から最適化アルゴリズムの大定番のAdamそして二階微分のニュートン法まで順を追って 図をふんだんに使いながら丁寧に解説 していきます。 それでは早速最適化アルゴリズムとは何
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
