【まとめ】ディープラーニングを使った異常検知 - Qiita
ディープラーニングを使った異常検知が進歩していますが、最新情報を追うのが大変です。 ここでは、最新情報をまとめておきます（随時更新）。 本稿では、以下の内容を記します。 ディープラーニングを使った異常検知について、簡単に歴史をまとめます。 最新の手法（2019年当時）について、ベンチマークを行います。 歴史 完全に独断と偏見で作った歴史です。 全ての論文は読めていないので、ご了承ください。 【～2017年】オートエンコーダによる異常検知 オートエンコーダによる異常検知 2、3年前はオートエンコーダによる異常検知が主流でした。オートエンコーダでは、元画像と再構築画像との差をとって、その和が大きいとき異常と認識させています。Qiitaの記事でも、オートエンコーダによる異常検知はたくさんありますので、気になる人は探してみてください。 Variational AutoEocoder（VAE）による
Composing graphical models with neural networks for structured representations and fast inference
We propose a general modeling and inference framework that composes probabilistic graphical models with deep learning methods and combines their respective strengths. Our model family augments graphical structure in latent variables with neural network observation models. For inference, we extend variational autoencoders to use graphical model approximating distributions with recognition networks
TensorFlow Probability で作る変分オートエンコーダ（VAE）
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
[DL輪読会]Recent Advances in Autoencoder-Based Representation Learning
[DL輪読会]Recent Advances in Autoencoder-Based Representation Learning 1. Recent advances in autoencoder-based representation learning include incorporating meta-priors to encourage disentanglement and using rate-distortion and rate-distortion-usefulness tradeoffs to balance compression and reconstruction. 2. Variational autoencoders introduce priors to disentangle latent factors, but recent work agg
![[DL輪読会]Recent Advances in Autoencoder-Based Representation Learning](https://cdn-ak-scissors.b.st-hatena.com/image/square/43d6d5e485cb1d66917052adea1f01b1a693ff44/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20190119dljournalclubweb-190401063633-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
[DL輪読会]Temporal DifferenceVariationalAuto-Encoder
1. 1 DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ Temporal DifferenceVariational Auto-Encoder Presenter: Masahiro Suzuki, Matsuo Lab 2018/11/30（発表後一部修正） 2. 輪読内容について • Temporal Difference Variational Auto-Encoder – Karol Gregor, Frederic Besse • GregorさんはDRAWを提案した人 • ICLRに採録（オーラル，スコアが8,9,7） • TD-VAEを提案した論文 – 系列情報を扱う深層生成モデル – ある任意ステップまで「飛び越えて」推論ができる点がすごい -> 汎用AIの大きな課題の一つである「時系列の抽象化」に挑んだ研究 •
![[DL輪読会]Temporal DifferenceVariationalAuto-Encoder](https://cdn-ak-scissors.b.st-hatena.com/image/square/e21629fc816d48455e335cb231e9b6e6ef671d88/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20181130new-190205051636-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
変分推論とVAEまでの流れ - HELLO CYBERNETICS
はじめに 確率モデリング 例 ガウス分布から生起するデータ 回帰モデル ベイズモデリング MAP推定 変分推論 VAE Normalizing Flow はじめに 確率モデルから始めて、最近ようやくVAE系統までの流れを把握できたのでまとめておきます。 確率モデリング 確率モデリングは観測データ $X$ と 観測していない潜在変数 $Z$ が主な登場人物です。潜在変数 $Z$ というのはモデルの内部に潜んでいるのだが、データとして取り出すことはできない実体のある何かである可能性もありますし、実体として結びついていなくても、何かモデルの構造に入り込んでいるであろうものを抽象的に表しているだけの可能性もあります。これは設計者が決めることです。 また、確率モデルのパラメータ等も全て潜在変数というものだとしておきます。 例 ガウス分布から生起するデータ 観測データが $$ x_i \sim {\m
《日経Robo》多様体仮説：現実世界のデータをどうモデル化するか
学習後のVAEにおいて、ノイズベクトルの中の特定の要素を滑らかに動かすと、VAEで生成される顔画像も、表情などが滑らかに変化する。（写真：D. Kingma et al,“Auto-Encoding Variational Bayes” Figure 4（a）より引用、https://arxiv.org/abs/1312.6114） 各点の周りがn次元的に拡がっているような空間を多様体と呼ぶ。別の言い方をすれば、局所的にはn次元の座標系を使って表すことができ、それがn次元ユークリッド空間と同相（滑らかに変形させていって同じ形にできる）であるような空間である。 現実世界のデータ分布は多くが低次元多様体 例えば、n次元ユークリッド空間自身はどの点でもn次元の拡がりを持った多様体である。また、球面というのは3次元空間中の2次元的な広がりを持つ多様体である。球面全体は2次元と同相ではないが（例えば
【論文読み】CVAE-GAN : Fine Grained Image Generation though Asymmetric Training - KAZ log TechMemo
今回はクラス情報を持った画像を生成するためにVAEとGANを上手に組み合わせましたよというお話。 CVAE-GAN: Fine Grained Image Generation though Asymmetric Training 【感想】 ・Mean feature matching のなるほど感 ・Loss関数たくさん＆そこにハイパラ設定せにゃならん →職人芸感満載、しかもepock数100kとか言われると自分の設定正しいかの検証無理。 【Abstruct】 あるIdentityを持った様々なカテゴリーの画像を生成したい VAEとGANを組み合わせたモデルを提案する しかし、ナイーブにはうまくいかない、なぜならばVAEの画像はぼやけるからCriminatorが簡単に偽物と判別できる なので、 本物のデータ群の平均の特徴量とのL2距離を損失関数として採用 勾配消失が緩和される Mean
Neural Discrete Representation Learning | Aäron van den Oord
Neural Discrete Representation Learning All samples on this page are from a VQ-VAE learned in an unsupervised way from unaligned data. More details in the paper. Reconstructions These samples are reconstructions from a VQ-VAE that compresses the audio input over 64x times into discrete latent codes (see figure below). Both the VQ-VAE and latent space are trained end-to-end without relying on phone
線形回帰を１つ１つ改造して変分オートエンコーダ（VAE）を作る - 作って遊ぶ機械学習。
こんばんは． 今日は統計や機械学習において最も基本となる手法である線形回帰から出発し，１つ１つモデルや学習方法に変更を加えていき，最終的に深層学習の分野で非常に良く使われている生成モデルである変分オートエンコーダ（variational auto-encoder，VAE）*1*2を導いていきたいと思います． 2014年に発表されたVAEは，勾配近似を得るためのreparametrization trickや，効率的に潜在変数を近似推論する認識モデル（recognition model, inference model）の導入，確率的勾配法（stochastic gradient descent，SGD）の2重適用など，様々なアイデアが散りばめられている確率的生成モデルです．背景としては，当時ニューラルネットワークを用いて画像を生成するといったアプローチが（CNNを使った識別などと比べて）そ
PyTorch (11) Variational Autoencoder - 人工知能に関する断創録
今回は、Variational Autoencoder (VAE) の実験をしてみよう。 実は自分が始めてDeep Learningに興味を持ったのがこのVAEなのだ！VAEの潜在空間をいじって多様な顔画像を生成するデモ（Morphing Faces）を見て、これを音声合成の声質生成に使いたいと思ったのが興味のきっかけだった。 今回の実験は、PyTorchの公式にあるVAEのスクリプト を自分なりに読み解いてまとめてみた結果になっている。 180221-variational-autoencoder.ipynb - Google ドライブ さっそく実験！いつものimport。 import os import numpy as np import torch import torch.nn as nn import torch.utils.data import torch.optim a
Variational Inference with Normalizing Flows
The choice of approximate posterior distribution is one of the core problems in variational inference. Most applications of variational inference employ simple families of posterior approximations in order to allow for efficient inference, focusing on mean-field or other simple structured approximations. This restriction has a significant impact on the quality of inferences made using variational
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://media.nips.cc/Conferences/2016/Slides/6199-Slides.pdf
Variational Auto Encoder入門
MAE: Mutual Posterior-Divergence Regularization for Variational AutoEncoders
Uncertainty Autoencoders: Learning Compressed Representations via Variational Information Maximization
From Autoencoder To Beta Vae
Variational Approaches for Auto-Encoding Generative Adversarial Networksの紹介
Hyperspherical Variational Auto-Encoders
Deep Unsupervised Clustering with Gaussian Mixture Variational Autoencoders