The loss surface of deep and wide neural networks
While the optimization problem behind deep neural networks is highly non-convex, it is frequently observed in practice that training deep networks seems possible without getting stuck in suboptimal points. It has been argued that this is the case as all local minima are close to being globally optimal. We show that this is (almost) true, in fact almost all local minima are globally optimal, for a
Explaining How a Deep Neural Network Trained with End-to-End Learning Steers a Car
As part of a complete software stack for autonomous driving, NVIDIA has created a neural-network-based system, known as PilotNet, which outputs steering angles given images of the road ahead. PilotNet is trained using road images paired with the steering angles generated by a human driving a data-collection car. It derives the necessary domain knowledge by observing human drivers. This eliminates
ゼロから作るDeep Learningのメモまとめ - Qiita
ゼロから作るDeep Learningを読んだ。 その読書メモのまとめ。 1章 Python入門 2章 パーセプトロン 3章 ニューラルネットワーク 4章 ニューラルネットワークの学習 5章 誤差逆伝播法 6章 学習に関するテクニック 7章 畳み込みニューラルネットワーク 8章 ディープラーニング この本では、Deep Learningの理論が非常にわかりやすく噛み砕かれていて、 はじめてDeep Learningに触れる読者にとっては、最初の一冊に最適だと思う。 pythonコードを作りながら学ぶというコンセプトもいい。 ただ、あまりにも説明が流暢で、かつ提供されるpythonコードもあまりにも洗練されすぎていて、 深く考える必要なく読破できてしまうため、他の同レベルの本を読んだ時に、 「あれ、これ知ってるけど、なんだっけ...」といった状態になってしまった。 オススメはこの本で、Dee
A recurrent neural network without chaos
We introduce an exceptionally simple gated recurrent neural network (RNN) that achieves performance comparable to well-known gated architectures, such as LSTMs and GRUs, on the word-level language modeling task. We prove that our model has simple, predicable and non-chaotic dynamics. This stands in stark contrast to more standard gated architectures, whose underlying dynamical systems exhibit chao
Python の環境構築（Windows10 + Emacs） - Qiita
はじめに 時間ができたので，流し読みした『ゼロから作るDeep Learning ――Pythonで学ぶディープラーニングの理論と実装』を手を動かしながら読み進めることにします．Python 自体もほぼ初めてなので環境構築を備忘録代わりにメモします． Emacs 25.2 もリリースされたので，しばらく様子を見て導入しようと思っています． Python3 のインストール この本には，Anaconda ディストリビューションで環境構築するようになっていますが，使用するライブラリ，【Numpy】,【Matplotlib】も最近ではpip でバイナリをインストールできるようになった(?)ので素の Python をインストールしてみました． インストーラーのダウンロード Python Software Foundation から Python3 の最新版をダウンロードする． 『Download P
Kerasの作者@fcholletさんのCVPR'17論文XceptionとGoogleのMobileNets論文を読んだ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 最初は、軽量なConvNetに興味があったのでGoogleから出ているMobileNets 1 を読んでいたのだが、その過程でCholletさんのXception論文 2 を（後者は今更）読んだので合わせてまとめる。Cholletさんの論文はなんとなくカジュアルな雰囲気がして面白い。 どちらの論文もpointwise convolutionとdepthwise (separable) convoutionを用いて精度を保ちながらCNNのパラメータ数を削減している。すなわち、精度とパラメータ数のトレードオフを改善していると言える
Residual Attention Network for Image Classification
In this work, we propose "Residual Attention Network", a convolutional neural network using attention mechanism which can incorporate with state-of-art feed forward network architecture in an end-to-end training fashion. Our Residual Attention Network is built by stacking Attention Modules which generate attention-aware features. The attention-aware features from different modules change adaptivel
ニューラルネットワークによる、言葉の関係性の表現:Neural Tensor Network
4/25の輪講では、ニューラルネットワークによる言葉の関係性(所謂トリプル)の推定に挑戦した「Reasoning With Neural Tensor Networks for Knowledge Base Completion」と、自然言語による指示で効率的に強化学習を行う「Beating Atari with Natural Language Guided Reinforcement Learning」を取り上げました。 Reasoning With Neural Tensor Networks for Knowledge Base Completion Reasoning With Neural Tensor Networks for Knowledge Base Completion · Issue #12 · arXivTimes…
ファッションアイテムの画像からの特徴抽出とマルチスケールなCNNの効果 - ZOZO TECH BLOG
同僚に3ヶ月のディープラーニング禁止令を言い渡したデータサイエンティストの中村です。 VASILYではスナップ画像に写っているモデルさんが着ている服と似ている服を検索する画像検索エンジンを開発しています。 ファッションアイテムを探す際、デザイン(アイテムの色や模様)はとても重要なファクターになります。 ファッションアイテムの画像検索システムも当然、色や模様のような局所的な特徴を捉えた検索を提供する必要があります。ところが判別タスクにおける歴代チャンピオンモデルと同様のCNNを使って特徴抽出を行うと、局所的な特徴が失われて似ていないアイテムがヒットしてしまうという問題がありました。 そこで、局所的な特徴の保存と表現能力の向上を期待して、モデルに浅いネットワークを追加してマルチスケールに拡張しました。 今回はこの取り組みについて紹介したいと思います。 スナップ画像から商品画像を検索する スナッ
Microsoft の Deep Learning フレームワーク「CNTK」が Python 対応になって格段に使いやすくなってた話 - Qiita
CNTK ってご存知でしょうか？すでに何かしらの Deep Learning フレームワークを使ったことがある方にとっては、「MS が出してるってことくらいは知ってるけど・・・」という方が大半だと思います。 実際、周りに聞いてみると、まだバージョンが上がる前の DSL で書かれている記事などを見た人には習得コストが高いのでは？と思われていたり、そもそも CNTK に関する日本語のドキュメントが少なくいまいちどういう特徴があるのかわからないって人も結構多いようです。 そこで、本記事では、Python 対応になってより使いやすくなった CNTK について、その特徴や他のフレームワークとの差異などをキーワードを散りばめながら紹介してみようと思います。 "Open-source, Cross-platform Toolkit" オープンな開発環境 オープンソースで GitHub上で開発が進んでます
Beating Atari with Natural Language Guided Reinforcement Learning
We introduce the first deep reinforcement learning agent that learns to beat Atari games with the aid of natural language instructions. The agent uses a multimodal embedding between environment observations and natural language to self-monitor progress through a list of English instructions, granting itself reward for completing instructions in addition to increasing the game score. Our agent sign
Caffe2: A New, Open-Source Deep Learning Framework From Facebook - Phoronix
Caffe2: A New, Open-Source Deep Learning Framework From Facebook Written by Michael Larabel in Free Software on 18 April 2017 at 02:40 PM EDT. 21 Comments Facebook just announced Caffe2, a new deep learning framework developed in cooperation with NVIDIA and other vendors. Facebook announced minutes ago from their F8 developer conference Caffe2 as a new open-source framework for deep learning. Caff
Deep Learning - an Introduction for Ruby Developers
Deep learning is exploding in popularity these days, powering everything from photo tagging to self driving cars – and you don’t need to hire a data sci…
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Deep Learning For Coders—36 hours of lessons for free
https://arxiv.org/pdf/1611.05774
Deep Learningの学習プロセスで電力効率を向上、富士通研が回路技術を開発
Differentiable Neural Computersと、自然言語におけるAttentionの有用性
https://qiita.com/sakiyamaK/items/35a385d3b72ce8425ebb
「ロボットカー」は目指さない──Audiが描く自動運転の未来図｜WIRED.jp
マイクロソフト副社長が語るプログラミング教育、「導入期には失敗もあり得る」 「教師・生徒がともに試行錯誤していく中で成果を」
