Robust Physical-World Attacks on Deep Learning Models
Recent studies show that the state-of-the-art deep neural networks (DNNs) are vulnerable to adversarial examples, resulting from small-magnitude perturbations added to the input. Given that that emerging physical systems are using DNNs in safety-critical situations, adversarial examples could mislead these systems and cause dangerous situations.Therefore, understanding adversarial examples in the
勾配降下法の最適化アルゴリズムを概観する | POSTD
(編注：2020/10/01、2016/07/29、いただいたフィードバックをもとに記事を修正いたしました。) 目次： さまざまな勾配降下法 バッチ勾配降下法 確率的勾配降下法 ミニバッチ勾配降下法 課題 勾配降下法を最適化するアルゴリズム Momentum(慣性) Nesterovの加速勾配降下法 Adagrad Adadelta RMSprop Adam アルゴリズムの可視化 どのオプティマイザを選ぶべき？ SGDの並列化と分散化 Hogwild! Downpour SGD SGDのための遅延耐性アルゴリズム TensorFlow Elastic Averaging SGD 最適化されたSGDに対する更なる戦略 シャッフル学習とカリキュラム学習 バッチ正規化 早期終了 勾配ノイズ 結論 参考文献 勾配降下法は、最適化のための最も知られたアルゴリズムの1つです。これまではニューラルネット
ディープラーニングの勉強用参考書まとめ - あれもPython,これもPython
ディープラーニングタノシイ! イラストで学ぶ ディープラーニング イラストで学ぶ ディープラーニング (KS情報科学専門書) 作者: 山下隆義出版社/メーカー: 講談社発売日: 2016/02/23メディア: 単行本（ソフトカバー）この商品を含むブログ (1件) を見る 以前、『初めてのディープラーニング』を紹介した時に、 こっちのほうがおすすめだよ、と言われた書籍です。 私はあくまでも初めてのディープラーニングのが好きですけど! レベルとしては初めてのディープラーニングとほとんど一緒。 こちらのほうが、Chainer,TensorFlowと多彩なフレームワークの説明あり。 初めてのディープラーニング 初めてのディープラーニング --オープンソース"Caffe"による演習付き 作者: 武井宏将出版社/メーカー: リックテレコム発売日: 2016/02/19メディア: 単行本（ソフトカバー）
生態学データ解析 - ニューラルネット
R で使える (artificial) neural newtwork モデル利用のデータ解析について ニューラルネットワーク (wikipedia) は一種の統計モデルであり，「すごく非線形な多項ロジスティックモデル」と考えてもよい library(nnet) multinom() : 多項ロジスティック回帰， nnet() 利用 library(neural) library(AMORE) library(nnet) R 上でもっとも手軽につかえるニューラルネットワーク (NN) package R の help: library(help = nnet) これは install.packages("VR") でインストールされる というか，R の default package なのでユーザーがわざわざインストールする必要はない 詳しい説明は MASS4 本 8.10 Neural
ニューラルネットワーク入門 〜目次〜
ニューラルネットワーク入門 Copyright(c)1996 Akira Iwata & Toshiyuki Matubara (Iwata Laboratory Nagoya Institute of Technolgy) ０ はじめに 学習の進め方 １ 神経細胞とニューラルネットワーク 神経細胞 ニューロンモデル ニューロンモデルの数式化 ネットワークモデル まとめ ２ 階層型ネットワーク ２．１ パーセプトロン パーセプトロン パーセプトロンの動作と学習 パーセプトロン学習のシミュレーション パーセプトロンの限界 まとめ ２．２ バックプロパゲーション学習 最急降下法 前向き演算 後向き演算１（出力層から中間層） 後向き演算２（中間層から入力層） ＢＰのシミュレーション ＢＰシミュレータ まとめ ２．３ その他の階層型ネットワーク ネオ
RECURRENT NEURAL NETWORKS - FEEDBACK NETWORKS - LSTM RECURRENT NETWORK - FEEDBACK NEURAL NETWORK - RECURRENT NETS - FEEDBACK NETWORK - RECURRENT NET - - FEEDBACK NET
1. Our Open Source RNN & LSTM Software Librairies: Brainstorm; RNNLIB; Pybrain. 2. Upcoming RNN Book 3. Old version of this page (2003) LSTM in Journals: Jürgen Schmidhuber's page on Recurrent Neural Networks (updated 2017) Why use recurrent networks at all? And why use a particular Deep Learning recurrent network called Long Short-Term Memory or LSTM? 12. K. Greff, R. Srivastava, J. Koutnik, B. S
Recurrent neural network - Wikipedia
Recurrent neural networks (RNNs) are a class of artificial neural network commonly used for sequential data processing. Unlike feedforward neural networks, which process data in a single pass, RNNs process data across multiple time steps, making them well-adapted for modelling and processing text, speech, and time series.[1] The building block of RNNs is the recurrent unit. This unit maintains a h
リカレントネットの学習法と応用： オートマトンの抽出
Next: RNNについて リカレントネットの学習法と応用： オートマトンの抽出 複雑系解析論講座 橋本研究室 小林 仁 概要: リカレントニューラルネットワーク（RNN）はフィードバックを持っており、従来のフィードフォワード、Hopfieldモデル等と異なり、時系列データを容易に取り扱うことができる。 しかし、RNNは構造が異なるため、従来の学習則を直接適用することはできない。そのためRNN独自の学習則が必要となる。ここではそのなかでも基本的な学習則について紹介する。またRNNに対する学習則はいくつか提案されているが、各々は異なる特徴を持っており、実際にどれを適用するべきかを考えなくてはならない。よってここではそのような学習則の持つ特徴に関する研究についても要約する。 先に述べた特徴より、RNNは様々な時系列パターンの認識や生成に用いることができると考えられる。ここではどのような問題に、
TensorFlow Playgroundはニューラルネットを理解するのにおススメ - 西尾泰和のはてなダイアリー
ネットワークの重みや各ニューロンがどういう入力の時に発火するのかが、学習していく過程で各時刻可視化されてとても良い教材です。 http://playground.tensorflow.org/ うずまきのデータセットに関して「中間層が1層しかないとうずまき（線形非分離な問題）は解けない」という誤解があるようなので、まずは1層でできるという絵を紹介。なお僕のタイムライン上では id:a2c が僕より先に気付いていたことを名誉のために言及しておきます。 で、じゃあよく言われる「線形非分離な問題が解けない」ってのはどういうことか。それはこんな問題設定。入力に適当な係数を掛けて足し合わせただけでは適切な境界を作ることができません。 こういうケースでは中間層を追加すると、中間層が入力の非線形な組み合わせを担当してくれるおかげで解けなかった問題が解けるようになります。 1つ目のデータセットでは特徴量の
Googleが自社で使っている「クラウド機械学習」を一般に開放、こんなスゴイことが簡単にできる
GoogleがGCP NEXT 2016で、Googleの使うクラウドベースの機械学習プラットフォーム「Cloud Machine Learning」を公開。アプリ開発者が自社のサービスで強力な機械学習機能を利用できるようにしました。 Google Cloud Platform Blog: Google takes Cloud Machine Learning service mainstream https://cloudplatform.googleblog.com/2016/03/Google-takes-Cloud-Machine-Learning-service-mainstream.html Google Cloud Machine Learning at Scale — Google Cloud Platform https://cloud.google.com/produc
Sukiyaki - Webブラウザでも動く。JavaScript製ディープラーニング MOONGIFT
ディープラーニングが盛り上がっています。大量のデータを分析する際に画一的なアルゴリズムではなく、学習しながらエンジンを磨いていくことで、これまでにない精度で分析ができるようになっています。 今回紹介するSukiyakiもそんなディープラーニングエンジンの一つですが、特徴としてJavaScriptで作られ、Webブラウザ上で動くという点があげられます。 Sukiyakiの使い方 分析の一例です。画像の数字を見極めます。最初は精度が高くありません。 学習を繰り返す内に徐々に精度があがってきました。 最後はだいたい2%に落ち着きました。 SukiyakiはGPGPUとマルチコアCPUををサポートしています。nodeでももちろん動作します。ディープラーニングをさくっと体験するにはWebブラウザで動くという利点は大きいと思われます。 Sukiyakiはnode/JavaScript製のオープンソース
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Lec-1 Introduction to Artificial Neural Networks
Lecture 1: Introduction to the Course | CosmoLearning Electrical Engineering
サービス終了のお知らせ