最近のスパースなニューラルネットワークについて - SmartNews Engineering Blog
こんにちは、スマートニュースの徳永です。深層学習業界はGANだとか深層強化学習だとかで盛り上がっていますが、今日は淡々と、スパースなニューラルネットワークの話をします。 要約すると ニューラルネットのスパース化によって、精度はほとんど犠牲にせずに、計算効率は3〜5倍程度まで向上できる スパース化にはまだ課題が多く、ニューラルネットの高速化という意味では、次の戦場はたぶんここになる スパースとは、スパース化とは スパースであるとは、値のほとんどが0であることです。例えば、ベクトル$a,b$の内積を計算する際に、$a$のほとんどの要素の値が0であるとしましょう。0になにをかけても0ですから、$a$の値が0でない次元についてのみ、$a_i b_i$の値を計算して足し合わせればよいわけです。このように、内積を計算する際に、どちらかのベクトルがスパースであれば計算が高速化できます。0という値をメモリ
Information Dropoutの数理とKeras実装
※ This is a Japanese version. The English version is here. Information Dropoutという手法がある。 元々は深層学習の過学習を避けるために提案されていたテクニックであるDropoutを、与えられたタスクに対する最適なデータの表現を学習するInformation Bottleneckの観点から一般化する、という内容である。 この論文は2016年11月4日にarXivに初稿がアップされ(arXiv:1611.01353)、ICLR2017に投稿されていた。 残念ながら採択はされなかったが、レビュー結果には The authors all agree that the theory presented in the paper is of high quality and is promising but the expe
Universal Approximation Theoremと深層学習の有効さ - From Pure Math to Applied Math
2016 - 11 - 03 Universal Approximation Theoremと深層学習の有効さ Deep Learning 機械学習 皆さん Universal Approximation Theorem Universal approximation theorem - Wikipedia をご存知でしょうか。 もしこれを知らないで深層学習や 人工ニューラルネットワーク (ANN)を使っている(実装している)としたら、 それは 無免許運転 のようなものでしょう。 お話になりません。 数学的厳密性を犠牲にしてRoughly Speakingで説明すると、 この定理が主張するのは ””適切な活性化関数を使えば、ANNは 任意の関数 を 任意の精度 で近似することが出来る”” と言うものです。 これによってANNの ”強さ” が保証されているわけですが、、、、。 こ
PyTorch
Join us in Silicon Valley September 18-19 at the 2024 PyTorch Conference. Learn more. Learn Get Started Run PyTorch locally or get started quickly with one of the supported cloud platforms Tutorials Whats new in PyTorch tutorials Learn the Basics Familiarize yourself with PyTorch concepts and modules PyTorch Recipes Bite-size, ready-to-deploy PyTorch code examples Intro to PyTorch - YouTube Series
DeepLearning研究 2016年のまとめ - Qiita
DeepLearning Advent Calendar 2016の17日目の記事です。 はじめに はじめまして。 Liaroという会社でエンジニアをしている@eve_ykと申します。 今年もあと僅かとなりました。 ここらで、今年のDeepLearningの主要な成果を振り返ってみましょう。 この記事は、2016年に発表されたDeepLearning関係の研究を広く浅くまとめたものです。今年のDeepLearningの研究の進歩を俯瞰するのに役立てば幸いです。 それぞれの内容について、その要点や感想なんかを簡単にまとめられたらと思います。 特に重要だと思った研究には★マークをつけておきます。 非常に長くなってしまったため、興味のある分野だけ読んでいただければと思います。 言い訳とお願い 見つけたものはコードへのリンクも示すので、プログラミングに関係ある記事ということで… 分野的にかなり偏っ
そろそろニューラルネットやディープラーニングを「人間の脳を模倣してる」というのをやめませんか？ - 病みつきエンジニアブログ
最近(？)ニューラルネット(Neural Network)やらディープラーニング(Deep Learning; 深層学習)やらが流行ってきて、人工知能やらシンギュラリティやら言われるようになって、その中でよく言われるのが「ディープラーニングは人間の脳を模倣してる」とか「特徴量を選ばずに学習できる」とか、そんなことが言われるわけです。 けど、そういったキーワードが一人歩きして、「人工知能は危険だ」論とか、人工知能に対する過剰な期待論がはびこってしまっている気がする。そこで言いたいのが「ディープラーニングは人間の脳を模倣している」と言ってしまうのをやめましょう、という話。 ニューラルネットワークが「人間の脳を模倣」してる話 まず最初に、「ニューラルネットワークが人間の脳を模倣してる」論が、あながち間違ってないよ、ということを話しておきたい。あながち間違ってないんだけど、それでもやめたほうが良い
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
