Deep Learning Acceleration勉強会(# DLAccel)に参加してきたのでまとめ - ぴよぴよ.py
今日参加してきた Deep Learning Acceleration勉強会 - connpass が非常に面白かった. 一度聞いただけでは全然理解できなかったので、後から読み返すように公開された資料や論文などをメモをまとめた。 私自身は仕事で一度tensorflowでCNN触ってみたくらいで、超初心者なので、 おかしな書き方をしているところがあるかもしれませんヾ(´ﾟДﾟ;) [2017/09/04 11:00 追記] 間違いの修正/情報追記 目次 モデルアーキテクチャ観点からのDeep Neural Network高速化 by Yusuke Uchida(@yu4u)さん 資料 よくある高速化の方法 Factorization conv(5 x 5) => conv(3 x 3) - conv(3 x 3) conv(3 x 3) -> conv(1 x 3) - conv (3 x
Deep Learning Acceleration勉強会 (2017/09/03 13:30〜)
概要 Deep Neural Network Modelを用いた訓練や推論の高速化をテーマとした勉強会です。モデリングからハードウェアまで様々な段階での高速化アプローチについて勉強できる場にしたいと思います。 Deep Learningに関わっている研究者、学生、エンジニアの方を想定しておりますが、誰でもご参加いただけます。入門的な話題は扱いません。 終了後に懇親会を予定しております。参加費無料ですので、是非ご参加ください。 会場案内 DeNA渋谷＜ヒカリエ＞オフィス http://www.hikarie.jp/access/ 東京都渋谷区渋谷2-21-1 渋谷ヒカリエ 24F Sakuraカフェ内 最寄り駅：渋谷駅（東京メトロ副都心線・半蔵門線、東急東横線、東急田園都市線とB3で直結。ＪＲ線、東京メトロ銀座線、京王井の頭線と2Fペデストリアンデッキで直結。） Wi-Fiと、全員分ではない
Deep Learning Acceleration 勉強会 - 兼雑記
https://connpass.com/event/64632/ すごく面白かった。最近こういう会に行って感心することは多いのだけど、しかしなんか書きたいと思うレベルになかなか来ない、まあそれなりに年喰ったしな、とか思ってたんですが。低レイヤとか、自分がある程度既に知ってるところの話を聞くのも楽しいけど、自分が最近勉強してて理解しはじめたことの話を見聞きする方が楽しいよねえということかと思いました。まさににわかほど語りたがる現象で、実際懇親会とかで間違ってること結構言ってそうな気がする。 ジャンルとして、他のCSのジャンルとかと違って、深層学習はとにかく論理的に確定できない話が多くて、あの論文はあやしいなあ、あれは説得力あるなあ、というような、口コミベースの情報が回してる面が、良くも悪くもあるのかなあ、という印象を持っています。 つーわけで口コミレベルの適当なことを、以下、書きます。(定
混合分布を隠れ変数とするVAEの論文を読む - mabonki0725の日記
ランニングできず 英語できず (1) 混合分布を隠れ変数とするVAEの論文を読む 「VAE with a VampPrior」[1705.07120v3] VAE with a VampPrior KingmaのVAE(Variational Auto encoder)は深層学習に始めて生成モデルを導入した画期的な業績となっています。従来の深層学習は教師付学習しかできませんでしたがVAEによって初めて非教師学習や半教師学習ができる様になりました。即ちデータから隠れた変数や因子を推定することができる様になりました。 VAEの特徴はデータから隠れ変数として多次元のガウス分布を推定していました。 下図はデータより多次元ガウス分布のの平均と分散を推定してます。 例えば下図の様に手書き文字から癖を見つけ、その癖で未知の手書き文字を書くことができました。 M先生によると人間の認識などは単純なので、多
深層強化学習のサーベイ論文を読む - mabonki0725の日記
ランニングできず 英語できず 深層強化学習のサーベイ論文を読む 「DeepLearning for Video Game Playing」https://arxiv.org/abs/1708.07902 最近までのPCゲームやテレビゲームを深層学習で解くAI技術について網羅的に解説した論文である。従って深層学習を使っても碁や将棋の様なボードゲームは対象外となっている。 下図の様な殆ど全ての深層強化学習を系統別かつ目的別に解説してあり大変な労作である。もし注目するモデルがあれば、この論文で検索すると以下のことが分る様になっている。 ・モデルの概要 ・モデルを発表した論文 ・考案した動機や対象としたゲーム ・モデル開発が可能なプラットホーム ・継承したモデルと発展先のモデル 下図の様に深層学習としては2013年の偉大なDQNから全てが始まっている。しかしこのDQN前にはSuttonのSarsa
Private Presentation
Private content!This content has been marked as private by the uploader.
為替をDeepLearningで予測してみた話 - Qiita
概要 現在の日付を$T$とすると、$T+1$から$T+30$までにおける日次価格の単純移動平均をDeepLearningを使って予測し、 ロングポジションを持った（もしくはショート）時の価格より、予測した移動平均を上(下)回れば利益確定するようなシミュレーション売買を行いました。また、３０日保持したら強制的に手仕舞いするようにします。 エントリーは日時毎に残高があれば全力で行うようにします。 ※オレンジのラインが30日後の30日単純移動平均になります。緑がx軸の日付時点における為替価格です。 使用したDLフレームワーク chainer ver1.3~1.5 ちょうどver1.5で互換性が大幅に変更になって、対応するのが大変でした。 2017/8現在はver2.0.2になっているみたいですね。 使用データ みずほヒストリカルデータ https://www.mizuhobank.co.jp/r
深層学習を超えた手法とは何か : 思考のカケラ
最近、深層学習の精度を超えた手法が発表されています。 今回は、昨日（6月17日）ニュースになったDeepmindによるPredictron（自動計画＋強化学習）も含めて、紹介します。
[PDF] 最適化から見たディープラーニングの考え方 得居 誠也
c � 1. 5 2011 10 [1] ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2012 2 10 [2, 3] 1 [4] [5] 2. x ∈ X y ∈ Y z = (x, y), Z = X × Y Preferred Networks 113–0033 2–40–1 4 tokui@preferred.jp S = {zi}N i=1 ⊂ Z f : X → Y F = {fθ|θ ∈ Θ} fθ ∈ F F zi S f z = (x, y) �(f, z) f(x) y ES(f) = ( � z∈S �(f, z))/N ES(f) f z = (x, y) E(f) = Ez[�(f, z)] E(f) E(f) f f [6] f� F f� F F ˆ fF E(f) E(f� ) E(f
Cramér GANでいらすとや画像生成してみる - 緑茶思考ブログ
Cramér GAN arXiv:https://arxiv.org/abs/1705.10743v1 このGANは数日前(5/30)に投稿されたもの。 これまでGANのベースラインとして， vanilla GAN，DCGAN，WGAN，WGAN-gpなどが使われてきた． この中のWGANやWGAN-gpより優れているという主張が論文内でされている． （abstで it performs significantly better than the related Wasserstein GAN との記述） また，twitter上では「WGANは死んだ」などの強めのつぶやきが観測されている． その強さを見てみたいので，このCramér GANの論文を読み， 実装していらすとや画像を生成してみたというのが本記事の主旨。 ついでにWGAN-gpも実装して比較した。 論文の概要 機械学習に使う確率
Inside of Deep Learning （ディープラーニングの性能改善手法 一覧） - Qiita
このポストは Inside of Deep Learning あるいは深層学習は何を変えるのか から分割したものです。全体があまりに長くなってしまったので、改善手法についても別のページにしました。 DL（ディープラーニング）の性能を改善していくポイントを駆け足で見て行きましょう。 学習データの追加、改善 DLシステムの性能を上げるためにはためにはより沢山の学習データが必要と言われています。例えば下記の図は、顔のパーツやバスの認識について学習データを増やすほど性能が上がるとした論文のものです。 Do We Need More Training Data? 画像であれば左右、上下、および上下左右に反転させた画像を使ってどちらを向いていても正しく特徴を取れるようにしたり、あるいは少し拡大したりノイズを混ぜるなどしてデータを水増しする手法がよく使われます。ユニークなのは例えばCGを用いて画像を作成
fast.ai の Practical Deep Learning for Coders, Part1 を受けた
fast.ai の Practical Deep Learning for Coders, Part1 を受けた fast.ai が提供する MOOC, “Practical Deep Learning for Coders Part1” を受けた。 Practical Deep Learning For Coders — 18 hours of lessons for free 特徴# プログラマのための実践ディープラーニング入門# この講座は、プログラマのためにある。素晴らしい理念の序文を引用したい。 The purpose of this course is to make deep learning accessible to those individuals who may or may not possess a strong background in machine le
最近のスパースなニューラルネットワークについて - SmartNews Engineering Blog
こんにちは、スマートニュースの徳永です。深層学習業界はGANだとか深層強化学習だとかで盛り上がっていますが、今日は淡々と、スパースなニューラルネットワークの話をします。 要約すると ニューラルネットのスパース化によって、精度はほとんど犠牲にせずに、計算効率は3〜5倍程度まで向上できる スパース化にはまだ課題が多く、ニューラルネットの高速化という意味では、次の戦場はたぶんここになる スパースとは、スパース化とは スパースであるとは、値のほとんどが0であることです。例えば、ベクトル$a,b$の内積を計算する際に、$a$のほとんどの要素の値が0であるとしましょう。0になにをかけても0ですから、$a$の値が0でない次元についてのみ、$a_i b_i$の値を計算して足し合わせればよいわけです。このように、内積を計算する際に、どちらかのベクトルがスパースであれば計算が高速化できます。0という値をメモリ
論文解説 Memory Networks - ディープラーニングブログ
こんにちは，Ryobot (りょぼっと) です． 概要 「メモリネットワーク」は代表的な記憶装置付きニューラルネットワークである． 本稿ではメモリモデル (記憶装置付きニューラルネットワーク) をいくつか概説し，論文 2 紙 (1) Memory Networks, (2) Towards AI-Complete Question Answering の理論的な記述を全文翻訳して補足説明している． 目次 メモリモデルの概説 Memory Networks (MemNN) 1 メモリネットワークの概要 2 基本モデル 3 拡張モデル 4 実験 Towards AI-Complete Question Answering (bAbI task) 1 メモリネットワークの拡張 2 bAbI タスク 3 実験 長文である．ざっくり知るだけなら「メモリモデルの概説」と Memory Networks
モデル圧縮 - nico-opendata
nico-opendata niconicoでは、学術分野における技術発展への寄与を目的として、 研究者の方を対象に各種サービスのデータを公開しています。 ニコニコ動画コメント等データセット (株)ドワンゴ及び(有)未来検索ブラジルと国立情報学研究所が協力して研究者に提供しているデータセットです。 ニコニコ動画コメント等のデータが利用可能です。 利用申請フォーム※国立情報学研究所へリンクします ニコニコ大百科データ (株)ドワンゴ及び(有)未来検索ブラジルと国立情報学研究所が協力して研究者に提供しているデータセットです。 ニコニコ大百科のデータが利用可能です。 利用申請フォーム※国立情報学研究所へリンクします Nico-Illustデータセット Comicolorization: Semi-Automatic Manga Colorization Chie Furusawa*、Kazuyu
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - miyosuda/scan: SCAN: Learning Abstract Hierarchical Compositional Visual Concepts
Deep Learning
Variational Autoencoders - Qiita
「画像認識分野における deep learning の発展と最新動向」
CNNとdepth推定を用いたオドメトリの算出 後編(CNN SLAM #2) - Qiita
