SoTAを総なめ！衝撃のオプティマイザー「SAM」爆誕&解説！ - Qiita
0. 忙しい方へ SAMは損失が最小かつその周辺が平坦であるようなパラメータを目指すよ SAMは次の3ステップだよ パラメータ$\mathbf{w}$の周辺で最大の損失をとる$\mathbf{w+\hat{\epsilon}(w)}$を求めるよ $\mathbf{w+\hat{\epsilon}(w)}$における損失を求めるよ 2.の損失に対する勾配でパラメータ$\mathbf{w}$を更新するよ SAMは一言で言ってしまえば、「パラメータ周辺での最大の損失を求めて、それが下がる方向でパラメータを更新する」ものだよ ImageNetやCIFARを含む9つの画像分類データセットでSoTAを更新したよ ラベルへのロバスト性も高いよ 1. SAMの説明 SAMは至ってシンプルです。というのも、今までは損失が最小になるパラメータを学習させていました。ただ、SAMは損失が最小かつその周りも平坦となっ
[1806.07366] Neural Ordinary Differential Equations
We introduce a new family of deep neural network models. Instead of specifying a discrete sequence of hidden layers, we parameterize the derivative of the hidden state using a neural network. The output of the network is computed using a black-box differential equation solver. These continuous-depth models have constant memory cost, adapt their evaluation strategy to each input, and can explicitly
Backpropしないニューラルネット入門 (2/2)
1. 概要下記のarXiv論文を紹介します。 Jinshan Zeng, Tim Tsz-Kit Lau, Shaobo Lin, Yuan Yao (2018). Block Coordinate Descent for Deep Learning: Unified Convergence Guarantees.arXiv:1803.00225 現時点では投稿されて間もない論文ですが、個人的には機械学習の論文を読んでいて久々に楽しい気持ちになれました。 論文の提案手法はgradient-free methodと呼ばれる手法の一種なので、本記事はそのあたりのレビューも少し兼ねます。 2. 勾配法の収束条件ニューラルネットの構造をひとつ固定し、その構造を使って表せる関数の全体を $\mathcal{F}$ と書きます。ニューラルネットの学習とは、与えられた損失を最小化する関数を見つけることで
20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
2018年1月15日の東京大学医学部機能生物学セミナーでの岡野原大輔の講演資料です。 最後の参考文献を修正しました。 修正版はこちらです。 https://www.slideshare.net/pfi/20180115-87025513
深層学習はガウス過程 - 作って遊ぶ機械学習。
おつかれさまです． 僕はあまり深層学習に関して記事を書くことはないのですが，ちょっと気になった論文があったので紹介します． [1711.00165] Deep Neural Networks as Gaussian Processes 論文はGoogle Brainの研究者らによるもので，NIPS2017 Bayesian Deep Learning WorkshopICLR2018にacceptされています．実は深層学習をガウス過程（Gaussian process）で構築するのはこの論文が初出ではないのですが，論文ではベイズ学習，深層学習，カーネル法を簡略かつ包括的に説明している内容になっているので非常に参考になります． さて，「深層学習はガウス過程」というのはちょっぴり宣伝的なタイトルにし過ぎてしまったのですが，もう少しだけ正確に論文の要点をまとめると次のようになります． 背景 単一
[DL輪読会]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
[DL輪読会]A Bayesian Perspective on Generalization and Stochastic Gradient Descent
![[DL輪読会]A Bayesian Perspective on Generalization and Stochastic Gradient Descent](https://cdn-ak-scissors.b.st-hatena.com/image/square/2f2f33cca068922eab045d09c5540a01ff9a48ad/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20171106dl2-171108033614-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
化学、生物学分野のための深層学習ライブラリChainer Chemistry公開 | Preferred Research
* English blog is also written here. Chainer [1]を使った、化学、生物学分野のための深層学習ライブラリ Chainer Chemistry を公開しました。 Github page: https://github.com/pfnet-research/chainer-chemistry Documentation: https://chainer-chemistry.readthedocs.io 本ライブラリにより、分子構造に対して簡単に深層学習（Deep learning）を適用することができるようになります。 例えば、化合物の分子構造を入力とした毒性の予測や、HOMO(最高被占軌道)レベルの回帰予測など、様々な化学的性質の予測に深層学習を適用することができます。 なお本ライブラリの開発にあたっては、PFN2017夏インターンシップに参加した
Deep Learning Acceleration勉強会(# DLAccel)に参加してきたのでまとめ - ぴよぴよ.py
今日参加してきた Deep Learning Acceleration勉強会 - connpass が非常に面白かった. 一度聞いただけでは全然理解できなかったので、後から読み返すように公開された資料や論文などをメモをまとめた。 私自身は仕事で一度tensorflowでCNN触ってみたくらいで、超初心者なので、 おかしな書き方をしているところがあるかもしれませんヾ(´ﾟДﾟ;) [2017/09/04 11:00 追記] 間違いの修正/情報追記 目次 モデルアーキテクチャ観点からのDeep Neural Network高速化 by Yusuke Uchida(@yu4u)さん 資料 よくある高速化の方法 Factorization conv(5 x 5) => conv(3 x 3) - conv(3 x 3) conv(3 x 3) -> conv(1 x 3) - conv (3 x
深層学習は画像のどこを見ている！？ CNNで「お好み焼き」と「ピザ」の違いを検証 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 こんにちは、AI開発部の伊藤です。 今回のブログは、「深層学習はいったい画像のどこを見て判断しているのか」という素朴な疑問に答えてくれる技術として、昨年提唱された「Grad-CAM」という技術を紹介します。 目次 目次 1. はじめに 2. Grad-CAMの紹介 Grad-CAMの仕組み： 3. 適用例 3-1. 画像キャプション生成（Image Captioning） 3-2. VQA（Visual Question Answering） 3-3. 学習用データのバイアス 4. 実施例（お好み焼きとピザを分類） 4-1. 画像データについて： 4-2. CNNの構築： 4-3. Grad-CAMの実装： 4-4. 実施結果の評価 お好み焼き画像でCNNの判定が当たっているケース： ピザ
第1回 AI・人工知能 EXPO 基調講演まとめ - 人工知能に関する断創録
6/28から6/30に東京ビッグサイトで開かれた第1回 AI・人工知能EXPO*1に参加して、基調講演を聴いてきたので概要をメモ書き程度にまとめた。個別の展示はちょっと数が多いので省略^^; 今年の目標（2017/1/1）にも書いたけれど、AIをどうビジネスにしていくかという点は関心があるので今後も動向をウォッチしていきたい。MicrosoftとWatsonのAPIはあとで使い込んでみる予定。 全体的な所感 カスタマーサービス向けのチャットボットツール（ルールベース）に関する展示が非常に多い コンピュータビジョンに関連したDeep Learning技術も目立ったが既存モデル（YOLO物体検出、人検出など）の活用が中心 DL以前の機械学習手法・データマイニング・テキストマイニングの活用事例も多い テキスト・画像・音声データの収集・アノテーションに特化した会社（IR-ALT、REALWORLD
またもやTensorFlowが強化！！深層学習ライブラリ「sonnet」の登場【使ってみた記事紹介を追加】 - HELLO CYBERNETICS
新たなライブラリsonnet sonnetとは DeepMind社製であること TensorFlowと共に使える TensorFlow TensorFlowの役割 TensorFlowの追加ライブラリ Keras TensorFlow-Fold edward sonnet sonnet使ってみた記事まとめ 多分日本語最速で出た使ってみた記事 インストールから丁寧に コードに対するコメントが豊富で参考になる記事 新たなライブラリsonnet sonnetとは DeepMind社が社内で利用していた深層学習ライブラリです。 昨日これがオープンソース化されました。 DeepMind社製であること DeepMindは現在Google傘下の人工知能開発企業です。 圧倒的な専門家集団の集まりであり、深層学習の研究にGoogleが乗り切る際に、DeepMind社は買収されました。その後、資金力と研究力を
深層学習がさらに進化、動画生成や「学習方法の学習」も
Preferred Networks（PFN）は、機械学習分野で最大級の国際会議「Neural Information Processing Systems（NIPS）2016」で発表された論文（ProceedingsのWebサイト）を有志が紹介する「NIPS2016読み会」を1月19日に開催した（イベントのWebサイト）。招待講演3件、口頭発表2件、ポスター発表15件のそれぞれで注目論文を取り上げて解説。論文の紹介をポスター形式で実施するのは珍しいが、「口頭発表と比べてより深い議論ができ、より多くの論文を扱えると考えたため」（主催したPFNの大野健太氏）という（発表資料の一覧）。 参加応募者121名に対して当初60名だった参加者枠を70名に増やしたり、ポスター発表者の数を10名から15名に増やしたりするなど、参加者、発表者ともに関心の高さが伺えた。なお、NIPS 2016での発表内容につ
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2016年12月)
cvpaper.challengeにて2017年4月にサーベイした論文のまとめです。 充分に進化したコンピュータ視覚（Computer Vision; CV）は人間に新しい知見をもたらす。cvpaper.challengeではCVが飛躍的に進んだ先に、人間に対して拡張した知能や技能を教示できる、と位置づけ論文読破・まとめ・アイディア考案・議論・実装・論文執筆（・社会実装）に至るまで広く取り組み、その過程で出てきたあらゆる知識を共有します。 2015〜2016年は1,600本以上の論文まとめを全て公開し、著名な国際会議のWSにおいて受賞を経験しました。2017年はさらにアウトプットにこだわり、突出した成果を出すことを目標とします。 SlideShareにて論文まとめや講演資料を公開し、Twitterでも情報を共有しております。 HP： https://sites.google.com/sit
確率的なDeep Learning。生成モデル。~その1~ - 日記マン
深層学習(Deep Learning)がバズワードになって何年目だ。 画像認識コンテストでDeepなヤツが優勝したのが2012年で4年前だ。 Deepの先駆者DBN[Hinton 2009]からだと7年か。 2014-2015の間だけでも1500もの関連論文が発表されているらしい。鬼のようだ。 軽く歴史を振り返ると、制限付きボルツマンマシンを「多段に積み上げた」(深層と呼ばれる所以) Deep Belief Network[Hinton 2009]が新時代の幕上げだった。 Deepという名前もここから実用的に使われだしたっぽい、多分。 そして今、非常に気になってるのがVAEとGAN、そしてEBMにGANのテクを使ったヤーツ[Kim+ 2016]。 こいつらは生成モデルの最新技術なヤーツ達だ。 こいつらについてちょっと紹介したいので、その前に統計的機械学習とボルツマンマシンについてまとめたあ
【みんな】Caffeより手軽かつ高速! Cで書かれた必要十分な深層学習フレームワーク darknetを試す【意外と知らない】:電脳ヒッチハイクガイド:電脳空間カウボーイズZZ(電脳空間カウボーイズ) - ニコニコチャンネル:生活
チャオ! オレだ。 深層学習を手軽に使いたいというニーズは日に日に高まっているはずなのに、ガクシャ先生どもと来たら、やれMatlabだ、やれPythonだのと軟弱言語の話しかしやしねえ。どこかに気骨溢れたナイスガイはおらんのか! と思ったら、居た。 それが今回紹介するdarknetだ。 darknetという名前から想像する異常にダークである。 バーン どうよこのダークネス感 いまどき黒いページというのは珍しい。 そして無駄に凝った魔法陣のようなロゴ。ダークだ。 しかしダークネット、厨二満開とせせら笑っていられるのもいまのうちだ。 このダークネット、実に必要十分な機能を最短で試せる超絶優れたツールなのである。 CaffeやTensorFlowほどの知名度はないが、実用性皆無なTensorFlowに比べてdarknetはものすごく実用的。Cが分かる人ならばこれほど使いやすいものもちょっと他にな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Noise2Noise: Learning Image Restoration without Clean Data を読んでみた
ＡＩ：誤って「回転」と錯視…人間同様に 立命大など発見 | 毎日新聞
Deep Learning
IPAB2017 深層学習を使った新薬の探索から創造へ
Artificial intelligence can spot skin cancer as well as a trained doctor