On Calibration of Modern Neural Networks
Confidence calibration -- the problem of predicting probability estimates representative of the true correctness likelihood -- is important for classification models in many applications. We discover that modern neural networks, unlike those from a decade ago, are poorly calibrated. Through extensive experiments, we observe that depth, width, weight decay, and Batch Normalization are important fac
Reducing Deep Network Complexity with Fourier Transform Methods
We propose a novel way that uses shallow densely connected neuron network architectures to achieve superior performance to convolution based neural networks (CNNs) approaches with the added benefits of lower computation burden requiring dramatically less training examples to achieve high prediction accuracy ($>98\%$). The advantages of our proposed method is demonstrated in results on benchmark da
深層学習の今のところの限界「何ができて、何ができないか？」
Tweet あけましておめでとうございます。 先日、MIT Technology Reviewにこのような記事が掲載されていました。 深層学習の過大評価は危険、ウーバーAI研究所の前所長が指摘 この論文を発表したのはニューヨーク大学の心理学者のゲイリー・マーカス教授。心理学者ということで、我々情報工学の立場とはまた違う立場で深層学習にできることとできないことを分離しています。 筆者はこのニュースを見て最初は反発したのですが、原文を読んでみると現状のディープラーニングの課題についてよくまとまっているのではないかと思いましたので紹介します。原文はこちら ■ディープラーニングの限界 マーカス教授によると、ディープラーニングは「無限のデータと無限の計算資源がある場合においては極めて有効である(In a world with infinite data, and infinite computati
Amazon Lex で Hello World | DevelopersIO
渡辺です。 限定的ですが日本でもEchoが発売され、Alexaが日本語を喋るようになりました。 Lexにも期待が膨らむところです。 これまでもブログでLexの紹介がありましたが、今回はブループリント（設計図）を使用せず、カスタムボットを作成してみます。 なお、2018年1月時点で、Lexは東京リージョンで利用できません。 Hello Worldボットを設計する 今回作成するボットは、話しかけると「Hello World!」と答えるだけのボットです。 しかし、何を話しかけても「Hello World!」と答えるわけではありません。 「Hello」や「Hey」などボットに話しかけると、「Hello World!」と返します。 ボットを作成する はじめにボットを作成します。 AWSのマネジメントコンソールからLexの画面を開き、ボットを作成します。 「Custom Bot」を選択し、Bot Na
Character-level Recurrent Neural Networks in Practice: Comparing Training and Sampling Schemes
Recurrent neural networks are nowadays successfully used in an abundance of applications, going from text, speech and image processing to recommender systems. Backpropagation through time is the algorithm that is commonly used to train these networks on specific tasks. Many deep learning frameworks have their own implementation of training and sampling procedures for recurrent neural networks, whi
Background removal with deep learning
This post describes our work and research on the greenScreen.AI. We’ll be happy to hear thoughts and comments -On Twitter, Linkedin Also check out our website — www.shibumi-ai.com IntroThroughout the last few years in machine learning, I’ve always wanted to build real machine learning products. A few months ago, after taking the great Fast.AI deep learning course, it seemed like the stars aligned,
Deep Learning: A Critical Appraisal
Although deep learning has historical roots going back decades, neither the term "deep learning" nor the approach was popular just over five years ago, when the field was reignited by papers such as Krizhevsky, Sutskever and Hinton's now classic (2012) deep network model of Imagenet. What has the field discovered in the five subsequent years? Against a background of considerable progress in areas
深層学習の過大評価は危険、ウーバーAI研究所の前所長が指摘
人工知能 (AI) には果たしてニューラル・ネットワーク以上の意味があるのだろうか。かつてウーバー（Uber）でAI研究所の所長を務めたニューヨーク大学のゲイリー・マーカス教授（心理学）はこんな問いかけをしている。 マーカス教授はニューラル・ネットワークを使う深層学習システムについての評論を発表し、その中で、現在のAIのいくつかの誇大広告について批判している。 マーカス教授は、いまや「AIの広告塔」となっている深層学習が直面している主なハードルを、データ不足や汎化の欠如といった10項目にまとめて、AIは世間で論じられているような万能薬ではないと論じている。深層学習には限界があるというのだ。真偽はわからないが、賛同したくなる誘惑にかられる（「人工知能バブル、3度目の冬はやってくるのか」を参照）。 誇大広告は得てしてリスクを伴う。マーカス教授は人々が深層学習の能力を過大に評価すれば、期待がひど
Saqoosha :: 2017 年のおしごと
SNS にドローンの写真とか動画ばっかアップしてたら、あいつ仕事してないんじゃないか疑惑で心配されたりしたので、2017 年やったおしごとをまとめておきますね🤗 1. 大丸300周年記念インスタレーション「Flower Mirror」 大規模インスタレーション案件。メカ→ TASKO、デバイス→カンタさん、全体制御アプリ→わたし。これはブログ書いてたな。その後、Unite でちょっとメイキングの話したときの動画。巨大なやつを制御できるのは楽しかった。でかいのは正義。 2. YASUTAKA NAKATA OFFICIAL WEBSITE やったのは全体のテクニカルディレクションとトップページのシェーダー 1 個書いただけですけれども。もともと CAPSULE、Perfume、MEG、きゃりーぱみゅぱみゅあたりが好物でしたので、中田事務所いって本人と打ち合わせしたのがハイライトでしたね😀
Google、機械学習による画像認識分類システムを欺ける敵対的物理ステッカーを提案した論文を発表。ステッカーは印刷可能でシーンに依存しない
Google、機械学習による画像認識分類システムを欺ける敵対的物理ステッカーを提案した論文を発表。ステッカーは印刷可能でシーンに依存しない 2018-01-04 Googleの研究者らは、Deep learningによる画像認識分類システムを欺ける敵対的ステッカーを提案した論文を発表しました。 Adversarial Patch 著者：Tom B. Brown、Dandelion Mané、Aurko Roy、Martín Abadi、Justin Gilmer （上図では97％の信頼度でバナナと分類しているが、ステッカーを置いた下図では99％の信頼度でトースターと分類している様子） テーブル上のバナナは、VGG16ニューラルネットワークによってバナナとして正しく分類されますが、隣にサイケデリックなステッカーを置くと、バナナのことはすっかり忘れトースターとして分類されます。このように、ステ
Yuta Kashino on Twitter: "（´-`）.｡oO( 今年は深層学習にいい加減なことを言う人が近くにいた，らせめてNIPS2017のこのチュートリアルくらいは押さえてよ，言うことにします．"Deep Learning: Practice and Trends T… https://t.co/duoirU40pT"
（´-`）.｡oO( 今年は深層学習にいい加減なことを言う人が近くにいた，らせめてNIPS2017のこのチュートリアルくらいは押さえてよ，言うことにします．"Deep Learning: Practice and Trends T… https://t.co/duoirU40pT
Audio samples from "Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions"
Audio samples from "Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions" Authors: Jonathan Shen, Ruoming Pang, Ron J. Weiss, Mike Schuster, Navdeep Jaitly, Zongheng Yang, Zhifeng Chen, Yu Zhang, Yuxuan Wang, RJ Skerry-Ryan, Rif A. Saurous, Yannis Agiomyrgiannakis, Yonghui Wu Abstract: This paper describes Tacotron 2, a neural network architecture for speech synthesis direc
Good books for deep hacks
For the past few months I’ve been compiling a list of books for a deep dive into interesting technical topics. My theory is that working on projects based on these topics will be like strong individual threads I can weave into epic hacks. This list is basically a curriculum for decades of learning about the wonders of computers. What’s exciting about many of these books is how they draw on the goo
CNN Is All You Need
The Convolution Neural Network (CNN) has demonstrated the unique advantage in audio, image and text learning; recently it has also challenged Recurrent Neural Networks (RNNs) with long short-term memory cells (LSTM) in sequence-to-sequence learning, since the computations involved in CNN are easily parallelizable whereas those involved in RNN are mostly sequential, leading to a performance bottlen
Khronos Group Releases NNEF 1.0 Standard for Neural Network Exchange
Khronos Group Releases NNEF 1.0 Standard for Neural Network Exchange December 20, 2017 – Beaverton, OR – The Khronos™ Group, an open consortium of leading hardware and software companies creating advanced acceleration standards, announces the release of the Neural Network Exchange Format (NNEF™) 1.0 Provisional Specification for universal exchange of trained neural networks between training framew
Google’s voice-generating AI is now indistinguishable from humans
Humans have officially given their voice to machines. A research paper published by Google this month—which has not been peer reviewed—details a text-to-speech system called Tacotron 2, which claims near-human accuracy at imitating audio of a person speaking from text. The system is Google’s second official generation of the technology, which consists of two deep neural networks. The first network
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Deep Learning_ Practice and Trends - final.pdf
動画
物理サーバを選定する際のポイント – Eureka Engineering – Medium
Reddit - Dive into anything
