Learning Structured Sparsity in Deep Neural Networks
High demand for computation resources severely hinders deployment of large-scale Deep Neural Networks (DNN) in resource constrained devices. In this work, we propose a Structured Sparsity Learning (SSL) method to regularize the structures (i.e., filters, channels, filter shapes, and layer depth) of DNNs. SSL can: (1) learn a compact structure from a bigger DNN to reduce computation cost; (2) obtai
Recurrent Neural Network Grammars
We introduce recurrent neural network grammars, probabilistic models of sentences with explicit phrase structure. We explain efficient inference procedures that allow application to both parsing and language modeling. Experiments show that they provide better parsing in English than any single previously published supervised generative model and better language modeling than state-of-the-art seque
第112号 深い学習、深い思考、深い理解 ｜ 公益財団法人 痛風・尿酸財団
医学の地平線 第112号 深い学習、深い思考、深い理解 最近、deep learning（深層学習）という言葉がはやっていて、情報関係以外の科学者や、一般の人々も用いているようです。最強のプロ棋士に勝った人工知能、アルファ碁で有名になった機械学習のフレームワークがdeep learningなのです。このdeep learningの内容をdeepに知ることで我々の思考の深層と科学の一面を明らかにできるのではないかと思います。 もともとdeep learningは多層ニューラルネットワークと呼ばれる機械学習フレームワークの一つです。高等動物の神経システムの研究成果を最大限に取り入れた内容となっています。最初は入力層と出力層で構成されていたシステムに中間層（隠れ層とも言われる）を複数加えたシステムが一般的です。人間の思考も、5感から入力データを取り入れ、複雑な思考の後に何らかの判断を下し行動に移
Generative Adversarial Nets from a Density Ratio Estimation Perspective
Generative adversarial networks (GANs) are successful deep generative models. GANs are based on a two-player minimax game. However, the objective function derived in the original motivation is changed to obtain stronger gradients when learning the generator. We propose a novel algorithm that repeats the density ratio estimation and f-divergence minimization. Our algorithm offers a new perspective
NVIDIA 社提供の AMI で DeepLearning - Qiita
更新履歴 [2017/03/08] AWS 公式 Deep Learning AMI v2 リリース！ CUDA 8.0 になり、TensorFlow v1.0.0, MXNet v0.9.3 など Deep Learning に便利な AMI NVIDIA 提供 NVIDIA CUDA Toolkit 7.5 on Amazon Linux NVIDIA DIGITS 4 on Ubuntu 14.04 2016/09 末に公開された模様。 自分で CUDA をインストールしたことがある方ならわかると思いますが、NVIDIA の GPU ドライバから始まり、CUDA をインストールするのはなかなかの手間でした。（まあ、一度 AMI を作ればってのはありますが） この AMI を使えば、ものすごく簡単にサーバが使い始められます！ AWS 提供 Deep Learning AMI Amazo
Chainerとチャンピオンモデルでファッションアイテム判別器を作る - ZOZO TECH BLOG
こんにちは、データチームの後藤です。この記事では、一般物体認識で優秀な成績を収めた代表的なニューラルネットワークモデルを、ファッションアイテムの画像データに対して適用し、どのアーキテクチャが有用か、どれだけの精度を出せるのかを調べる実験を行います。 今回は、 AlexNet Network In Network GoogLeNet DenseNet の4つのアーキテクチャを試しました。 背景 iQONでは毎日500以上のECサイトをクロールし、一日平均1万点もの新着アイテムを追加しています。この過程で、新着アイテムがiQONのどのカテゴリに属するのかを決める必要がありますが、この作業を人手で行うと膨大なコストになってしまいます。この問題に対して我々は、アイテムの名前や説明文、画像データを活用してカテゴリを判別する仕組みを作りました。とくに画像データによる判別には、畳み込みニューラルネットワ
祝10周年！ ハッピーバースデイ Apache Hadoopミートアップ (2016/11/08 19:00〜)
祝10周年！ ハッピーバースデイ Apache Hadoopミートアップとは？ 今年Apache Hadoopとそのコミュニティは誕生から10年目を迎え、世界中で使われているビッグデータのプラットフォームであるHadoopの生みの親Doug Cutting が来日決定！Hadoopは2006年からのコアコントリビューター数は800名以上。様々なプロジェクトがこの10年の間に生まれています。この区切りの年に、これまでの10年、そしてこれからのHadoopのあり方を含めて語らうミートアップを開催します！ 本ミートアップ参加上のご注意 ◆ 本ミートアップのみ参加したい方 Connpassで参加受付ください。 ◆ 本ミートアップのみならず、Cloudera World Tokyoの基調講演やブレークアウトセッション、特別対談等に参加したい方 本ミートアップは同日11/8に行われる国内最大級のHad
DIY Deep Learning for Vision: a Hands-On Tutorial with Caffe
このブラウザ バージョンのサポートは終了しました。サポートされているブラウザにアップグレードしてください。
Images Don’t Lie: Transferring Deep Visual Semantic Features to Large-Scale Multimodal Learning to R
Home / Topics Images Don’t Lie: Transferring Deep Visual Semantic Features to Large-Scale Multimodal Learning to Rank Corey Lynch, ; Kamelia Aryafar*, Etsy Inc.; Josh Attenberg, Etsy Abstract Search is at the heart of modern e-commerce. As a result, the task of ranking search results automatically (learning to rank) is a multibillion dollar machine learning problem. Traditional models optimize ove
Deep Learning実習
AlexNet [A Krizhevsky, 2012] このページはDeep Learningモデルを使って画像認識をする方法を一通り学ぶ初心者向け実習教材として作られました。 ここではPython環境でCaffeフレームワークを利用して画像認識モデルを学習、評価する方法を学ぶことができます。 準備 0. Docker+Jupyter環境の構築 1. Pythonと数値計算 1a. Pythonと数値計算 練習問題解答 画像認識 2. Caffeを使った画像分類 3. 手書き文字認識モデルの学習 4. 学習済みのネットワークをマルハナバチ分類にファインチューニング その他 5. Caffeの動作環境に関して 参考 スライド資料 Caffe deep learning framework Stanford CS231n: Convolutional Neural Networks for
Deep Learning Frameworks Compared
In this video, I compare 5 of the most popular deep learning frameworks (SciKit Learn, TensorFlow, Theano, Keras, and Caffe). We go through the pros and cons of each, as well as some code samples, eventually coming to a definitive conclusion. The code for the TensorFlow vs Theano part of the video is here: https://github.com/llSourcell/tensorflow_vs_theano An article that explains the difference
Yahoo、ポルノ写真の検出に応用できるディープラーニングモデルをオープンソース化 - BRIDGE（ブリッジ）
Sunnyvale の Yahoo 本社に掲げられた看板 Image Credit: Ken Yeung/VentureBeat 今日（9月30日）、Yahoo は画像がポルノ写真かどうかを判定するモデルをオープンソース化する旨のリリースを発表した。 このシステムは、ディープラーニングという、ある種の人工知能技術を使って、（ダーティーイメージなどの）多くのデータをもとに人工ニューラルネットワークをトレーニングし、新しいデータについて推測させようというものだ。現在、2条項BSD ライセンスのもと GitHub 上で入手可能となっているこのモデルは、機械学習をさせる前の段階であるため、利用にあたってはユーザが微調整を施す必要がある。このモデルは広く使われている、オープソースのディープラーニング・フレームワーク「Caffe」と連携する。Yahoo のチームでは、自ら開発したオープンソース・シス
CS 6501 -- Deep Learning for Computer Graphics
Course Summary Lectures: TuTh 3:30 - 4:45 PM, Room: Olsson 009 Office hours: TuTh 1:00 - 2:00 PM, Rice 510, or by appointment via email Course Description In this graduate seminar, we will study deep learning techniques and their application to computer graphics. Topics include: Artificial neural networks, including the following subtopics: Supervised and unsupervised learning Feedforward and conv
え、台場に？ AI時代のインフラエンジニアに向けて「Tech Summit」上陸
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Windows Server 2016の一般提供（GA）、Azure Stackのアプライアンスお披露目、そしてMicrosoft 最高経営責任者（CEO）Satya Nadella氏が“AI（人工知能）駆動のデジタルトランスフォーメーション”を語った「Microsoft Ignite」（米アトランタで9月26～30日に開催：関連記事1、2、3）。そのIgniteの日本版イベント「Tech Summit 2016」が11月1～2日に東京・お台場で開催される。 Tech Summitは、日本マイクロソフトが、インフラ運用管理者をメインターゲットとして実践的な内容を紹介する技術イベントだが、アプリケーション開発者向けや、開発者と運用管理者の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hybrid Recurrent Neural Network for Nonlinear Hybrid Dynamical Systems Identification
GitHub - oreilly-japan/deep-learning-from-scratch: 『ゼロから作る Deep Learning』(O'Reilly Japan, 2016)
http://engineering.skymind.io/distributed-deep-learning-part-1-an-introduction-to-distributed-training-of-neural-networks
Connections between physics and deep learning
GitHub - IntelLabs/rnnlm: Recurrent Neural Network Language Modeling (RNNLM) Toolkit
Deep Learningで始める文書解析入門
