AtomNet: A Deep Convolutional Neural Network for Bioactivity Prediction in Structure-based Drug Discovery
Deep convolutional neural networks comprise a subclass of deep neural networks (DNN) with a constrained architecture that leverages the spatial and temporal structure of the domain they model. Convolutional networks achieve the best predictive performance in areas such as speech and image recognition by hierarchically composing simple local features into complex models. Although DNNs have been use
Deep Learning with Generative and Generative Adverserial Networks – ICLR 2017 Discoveries – Amund Tveit's Blog
Deep Learning with Generative and Generative Adverserial Networks – ICLR 2017 Discoveries The 5th International Conference on Learning Representation (ICLR 2017) is coming to Toulon, France (April 24-26 2017). This blog post gives an overview of Deep Learning with Generative and Adverserial Networks related papers submitted to ICLR 2017, see underneath for the list of papers. Want to learn about t
翻訳を行うニューラルネットワーク ByteNetの概要 - Qiita
Bytenetとは2016/10/31にDeepMindから投稿された論文，"Neural Machine Translation in Linear Time"にて提案された機械翻訳をするニューラルネットワークです．音合成をするニューラルネットワークとして提案されたWaveNetと同じように，Dilationを導入することによって，遠い時系列の相関を学習することができます．さらに，学習にかかる時間が，文章の長さにたいして線形となっており，比較的速いと言われています． Bytenetの概要 翻訳タスクをするニューラルネットワークです．元の言語の文字列を${\bf s}=s_0,\dots,s_{N_s}$として，翻訳後の言語の文字列を${\bf t}=t_0,\dots,t_{N_t}$とすると，$p({\bf t}|{\bf s})$を推定するタスクです． この確率分布をByteNetで
Deep Learningの気持ちを理解する - Classification編 - Qiita
画像分野では今やDeep Learningによる解析が主流となりつつありますが、結果の解釈が難しいのが難点です。医療分野などでは特に、モデルの出力に対する説明力が強く求められるのではないでしょうか。今回は、そういった時に活用できる可視化手法を紹介します。 紹介する手法はOBJECT DETECTORS EMERGE IN DEEP SCENE CNNs, Zhou+, '14で提案されている方法です。 論文中でやっていること classificationモデルの学習（通常の学習） 1と同じ前処理を適用した画像を入力として、1で学習したモデルでclass毎の確率値を計算 2で使用した画像の一部の領域をマスクした画像を入力として、class毎の確率値を計算 3を5000個程度の領域で行い、値を取得 4の個々の出力値と2の出力値の差分をとる 任意の閾値を設定し、5の値が閾値を超えていない領域は0
DRAW: A Recurrent Neural Network For Image Generation
DRAW: A Recurrent Neural Network For Image Generation Karol Gregor KAROLG@GOOGLE.COM Ivo Danihelka DANIHELKA@GOOGLE.COM Alex Graves GRAVESA@GOOGLE.COM Danilo Jimenez Rezende DANILOR@GOOGLE.COM Daan Wierstra WIERSTRA@GOOGLE.COM Google DeepMind Abstract This paper introduces the Deep Recurrent Atten- tive Writer (DRAW) neural network architecture for image generation. DRAW networks combine a novel
RNN – Recurrent Neural Network (RNN) – LSTM GRU BRNN
Tensorflow における RNN – 実践ガイドと文書化されていない特徴 * RNNs in Tensorflow, a Practical Guide and Undocumented Features の簡単な要約です。 * 図表は原文を参照してください。 データ前処理: tf.SequenceExample を使用する RNN は複数の時間ステップにおける入力 and/or 出力を持つシーケンシャル・データのために使用されます。TensorFlow にはそのようなデータを扱うための protocol buffer 定義があります: tf.SequenceExample Python/Numpy 配列からデータを直接ロードできますが、代わりに tf.SequenceExample を使用することが多分得策でしょう。このデータ構造は non-sequential な特徴のための
東芝、ディープラーニングを低消費電力で実現する脳型プロセッサを開発 | IoTNEWS
2021-09-072016-11-08 東芝、ディープラーニングを低消費電力で実現する脳型プロセッサを開発 東芝は、ディープラーニング（深層学習）の処理を極めて低い消費電力で実行する、人間の脳を模した半導体回路TDNN（Time Domain Neural Network）（注1）を開発した。TDNNは演算回路を小さくできる特徴があり、従来と比べ多くの演算回路を1チップに実装することができる。 現在、ディープラーニングは、大量の演算を高速で処理し、多くの電力を消費する高性能コンピュータによって行われており、センサーやスマートフォンなどのエッジデバイスで同様のディープラーニングを実行するためには、大量の演算を数ワット以下の低消費電力で実行するチップが必要だ。ノイマン型（注2）と呼ばれる一般的なアーキテクチャのコンピュータでディープラーニングの処理を実行する場合、消費電力の大部分はデータをメ
OS X 10.10（Yosemite）にCaffeをインストールする（libstdc++問題解決） - Qiita
Caffeって？ Caffeは、アメリカのカリフォルニア大学バークレー校が開発している、ディープラーニングのフレームワークです。 マルチプラットフォーム（LinuxやMax OS X）で動く C++やPythonで実装できる 数ある機械学習のフレームワークの中で開発が活発で、処理速度が速い いろいろな研究成果が報告されている などなど Macにインストールする Ubuntuでのインストールはすごく簡単でしたが、Mac、特に10.9と10.10(MavericsとYosemite)にインストールするのが厄介です。その理由がlibstdc++問題（勝手に自分が命名）です。 libstdc++は、C++の標準ライブラリです。 Caffeに必要な、ソフトウェアをインストールするのに必要なオプションです。 しかし、libstdc++は、OS X 10.9と10.10では対応しておりません。libc+
Eve: A Gradient Based Optimization Method with Locally and Globally Adaptive Learning Rates
Adaptive gradient methods for stochastic optimization adjust the learning rate for each parameter locally. However, there is also a global learning rate which must be tuned in order to get the best performance. In this paper, we present a new algorithm that adapts the learning rate locally for each parameter separately, and also globally for all parameters together. Specifically, we modify Adam, a
東芝、ヒトの「脳」模したチップ開発―人工知能に応用 [インターネットコム]
東芝は、人間の脳を模した半導体回路「TDNN（Time Domain Neural Network）」を開発した。人工知能（AI）の実現に有望な技術であるディープラーニング（深層学習）をきわめて低い消費電力で行えるのが特徴。 東芝によると、深層学習はたいてい、大量の演算を高速で処理し、多くの電力を消費する高性能コンピューターを使っており、スマートフォンのような小さな機器でも可能にするには新たなチップが必要。 しかし従来の手法で、消費電力を抑えてチップを作ろうとするとサイズが大きくなってしまう問題があった。 東芝は2013年に開発した「時間領域アナログ信号処理技術」を応用し、チップの小型化に成功したとする。
![東芝、ヒトの「脳」模したチップ開発―人工知能に応用 [インターネットコム]](https://cdn-ak-scissors.b.st-hatena.com/image/square/1be74f3ab8891493fb9e2993bd802d416f0ac65e/height=288;version=1;width=512/https%3A%2F%2Fimage.internetcom.jp%2Fupload%2F20161107%2Fimages%2Fbrain.jpg)
ディープラーニング（深層学習）を低消費電力で実現する脳型プロセッサを開発 | 東芝デバイス＆ストレージ株式会社 | 日本
当社は、ディープラーニング（深層学習）の処理を極めて低い消費電力で実行する、人間の脳を模した半導体回路TDNN注1（Time Domain Neural Network）を開発しました。TDNNは演算回路を小さくできる特徴があり、従来と比べ多くの演算回路を1チップに実装することができます。本成果について、富山県で開催されるIEEE主催の半導体回路技術に関する国際会議「A-SSCC 2016（Asian Solid-State Circuits Conference 2016)」で11月8日に発表します。 現在、ディープラーニングは、大量の演算を高速で処理し、多くの電力を消費する高性能コンピュータによって行われており、センサーやスマートフォンなどのエッジデバイスで同様のディープラーニングを実行するためには、大量の演算を数ワット以下の低消費電力で実行するチップが必要です。ノイマン型注2と呼ばれ
東芝、ディープラーニングを実現する脳型プロセッサを開発
東芝は11月7日、低消費電力でディープラーニングを実現する人間の脳のような半導体回路を開発したと発表した。 現在のディープラーニングは大量の演算を高速で処理することから、高速なプロセッサーを必要とし、多量の電力を消費する傾向がある。また、一般的なノイマン型コンピューターでは、メモリーからデータを頻繁に取り出して演算、保存を行なうため、データ移動のための電力も大きいことが課題となっている。 東芝では2013年に「時間領域アナログ信号処理」と呼ばれる技術を開発。これは信号がゲートを通り抜ける遅延時間をアナログ信号として用いるもので、デジタルのON／OFFや、電圧値によるアナログ回路とは異なり、低消費電力かつ信号線1本というシンプルなしくみでアナログ回路を構成できるというもの。 この時間領域アナログ信号処理技術を演算回路として用いるディープラーニング用演算回路TDNN（Time Domain N
Neural networks and deep learning
ニューラルネットワークと深層学習 What this book is about On the exercises and problems ニューラルネットワークを用いた手書き文字認識 逆伝播の仕組み ニューラルネットワークの学習の改善 ニューラルネットワークが任意の関数を表現できることの視覚的証明 ニューラルネットワークを訓練するのはなぜ難しいのか 深層学習 Appendix: 知性のある シンプルな アルゴリズムはあるか? Acknowledgements Frequently Asked Questions Sponsors Resources 「ニューラルネットワークと深層学習」は無料のオンライン書籍です。 この本では、次のような内容を扱います。 ニューラルネットワーク：コンピュータに、観測データにもとづいて学習する能力を与える、生物学にヒントを得たプログラミングパラダイム。 深
Tensorflow RNN weight matrices initialization
How to initialize weight matrices for RNN? I believe people are using random normal initialization for weight matrices for RNN. Check out the example in TensorFlow GitHub Repo. As the notebook is a bit long, they have a simple LSTM model where they use tf.truncated_normal to initialize weights and tf.zeros to initialize biases (although I have tried using tf.ones to initialize biases before, seem
Deep Convolutional Neural Network Design Patterns
Recent research in the deep learning field has produced a plethora of new architectures. At the same time, a growing number of groups are applying deep learning to new applications. Some of these groups are likely to be composed of inexperienced deep learning practitioners who are baffled by the dizzying array of architecture choices and therefore opt to use an older architecture (i.e., Alexnet).
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Index of /
東芝、ディープラーニングを低消費電力で行なえる“脳型プロセッサ”
Tensorflow and deep learning, without a PhD, Martin Gorner, Google
GitHub - clab/dynet_tutorial_examples: Tutorial on "Practical Neural Networks for NLP: From Theory to Code" at EMNLP 2016
Juan Cazala