KL divergenceとJS divergenceの可視化 - 緑茶思考ブログ
Kullback-Leibler(KL) diviergence 同じ確率変数xに対する２つの確率分布P(x)とQ(x)があるとき、 これらの確率分布の距離をKullback-Leibler(KL) divergenceを使い評価できる。 KL divergenceは以下の式で表される。 $$ \begin{align} D_{KL}(P||Q) &= \mathbb{E}_{x \sim P}[log \frac{P(x)}{Q(x)}] \\ &= \mathbb{E}_{x \sim P}[log P(x) - log Q(x)] \\ &= \int_{x} P(x) (log P(x) - log Q(x)) \end{align} $$ このKL divergenceは交差エントロピーで以下のように表すこともできる。 $$ D_{KL}(P||Q) = -\mathbb{H}(
pix2pixで車載画像の昼夜の変換を試す - 緑茶思考ブログ
最近、業務の忙しさと、 別件で進行しているモデルのパラメータチューニングの収束しなさから、 ブログ更新をしばらく行っていなかった。 一旦、更新が途絶えてしまうと、なかなかモチベーション的に再開しづらいので、 以前も試したことのあってお手軽なpix2pixを再び試してみようと思う。 （お手軽と言っても学習に数日は掛けた) さて、pix2pixの変換事例はいろいろ紹介されているが、 Image-to-Image Demo - Affine Layer 論文の中の昼と夜の画像変換については、datasetが公開されておらず、 ネットを探しても先行事例は見つからなかった。 more datasets available？ · Issue #8 · phillipi/pix2pix · GitHub ↑のように昼夜画像データセット難民は多いようだ。 pix2pixにはペアの訓練画像が必要なのだが、
DRAGAN + SRResNetでいらすとや画像生成する - 緑茶思考ブログ
MakeGirlsMoeは 驚異的な生成画像の質で、お盆休み中の世間を驚かせた。 このMakeGirlsMoeの ネットワーク構造(SRResNet) 目的関数(DRAGAN) を使っていらすとや画像を生成してみる。 DRAGANについては、以前に記事を書いている。 当時あまり注目されていないながらも、私の手元のデータセットに関してはCramerGANやWGAN-gpよりも当時性能が出ていてビックリした。 SRResNetに関しては、https://arxiv.org/abs/1609.04802のネットワークをそのまま利用した。 通常のGANだと、アップサンプリングはdeconvolutionで行うが、SRResNetではPixelCNNを使う。 ResNetが深いので、メモリが4~8GしかないGPUだとあまりバッチサイズを大きく出来ず学習は厳しかった。 画像生成：ブロンド外国人による支
"How to Train a GAN" at NIPS2016 workshopのメモ - 緑茶思考ブログ
NIPS2016でのWorkshop on Adversarial Training「How to train a GAN」での， GANを学習させるTipsのまとめ。 Workshopの動画 （30分程度で軽めなので観てみると良いと思います） www.youtube.com 以下は登壇者による↓のメモ https://github.com/soumith/ganhacks 前置き GANは現状House of cardsのようなもの． Generator，Discriminatorが上手く学習しているのかわからない 上手く言ってると思ったら突然崩壊する モデルの評価が難しい まだまだ発展途上で，今後新たなアルゴリズムや理論が登場する見込み． だが現状，以下のようなテクニックは重要と思われる． (以下のテクニックはZero scienceで単なるHackだと述べている） 1. 入力を正規化
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
