CNNを利用した自然言語処理技術まとめ（2017年1月） - 終末 A.I.
年末に Language Modeling with Gated Convolutional Networks が一部界隈でバズったこともあり、CNNを用いた自然言語処理が注目を集め始めています。今年の後半あたりには、派生手法や関連手法が多く登場していくのではないかと思われます。 CNNはRNNに比べて並列処理に優れているため、処理速度が圧倒的に速いという利点がありますが、時系列データの処理に特化したRNNと比べると、特に言語モデルにおいては最終性能がやや劣っているという理解が一般的でした（テキストクラシフィケーションではタスクによってはCNNのほうが性能がいいものもありました）。 Gated Convolutional Networks では、Gated Linear Unit および Residual 層を利用し学習を効率化することにより、WikiText-103 のタスクで stat
Semi-Supervised Learning with Deep Generative Models [arXiv:1406.5298]
Semi-Supervised Learning with Deep Generative Models [arXiv:1406.5298] 概要 Semi-Supervised Learning with Deep Generative Models を読んだ Chainer 1.8で実装した モデルM1、M2、M1+M2の実装方法の解説 モデルM2で100ラベルのエラー率9%を達成した モデルM1+M2で100ラベルのエラー率4%を達成した はじめに Variational AutoEncoder(VAE)は、半教師あり学習に用いることのできるオートエンコーダです。 学習のベースとなる確率的勾配変分ベイズ(SGVB)については以前の記事をお読みください。 この論文では3つのVAEのモデル、M1、M2、M1+M2が提案されています。 M1 M1は教師なし学習のためのモデルです。 Chai
![Semi-Supervised Learning with Deep Generative Models [arXiv:1406.5298]](https://cdn-ak-scissors.b.st-hatena.com/image/square/b96bcf0a6561853ab2259098ff8ec2bc9e7b923c/height=288;version=1;width=512/http%3A%2F%2Fmusyoku.github.io%2Fimages%2Fpost%2F2016-07-02%2Fm1_latent_space.png)
Image-to-Image Translation with Conditional Adversarial Networks
We investigate conditional adversarial networks as a general-purpose solution to image-to-image translation problems. These networks not only learn the mapping from input image to output image, but also learn a loss function to train this mapping. This makes it possible to apply the same generic approach to problems that traditionally would require very different loss formulations. We demonstrate
できるだけ丁寧にGANとDCGANを理解する - 午睡二時四十分
目的 Chainerの扱いに慣れてきたので、ニューラルネットワークを使った画像生成に手を出してみたい いろいろな手法が提案されているが、まずは今年始めに話題になったDCGANを実際に試してみるたい そのために、 DCGANをできるだけ丁寧に理解することがこのエントリの目的 将来GAN / DCGANを触る人の助けになったり、理解間違ってるところにツッコミがあると嬉しい 本エントリの構成 DCGANの前提となっているGANの論文の要点をまとめる DCGANでGANとの差分として提案されている要点をまとめる DCGANのmattyaさんの実装を読み通して詳細を理解する 1. GANについて GANは、サンプル群と似たような性質を持つ出力を生成するためのフレームワーク 2014年にIan J. Goodfellowらによって提案された 論文: Generative Adversarial Net
A Diversity-Promoting Objective Function for Neural Conversation Models [Li+, NAACL'15] - ブログではないです
概要 A Persona-Based Neural Conversation Model [Li+, ACL'16] の一つ前の論文。 実験していてもそうだったが、seq2seqベースの対話はやはり典型的な応答 （e,g, I don't know. ）が頻出する事が問題になるらしく、 それをどうにかしようという話。 手法 基本的な考え方としては を最大化することで生成される文がいわゆる典型的な表現であった場合にペナルティを加える、というもの。 簡単な式変形から明らかだが、結局 、発話と応答の相互情報量を最大化していることに等しい。 これに加えて典型的な表現をペナライズする程度の調整が効くように (1) としたものと、ベイズの定理から式変形して (2) としたものの2種類を検討している．前者をMMI-antiLM, 後者を MMI-bidi と呼んでいる。 また、訓練時にλを最適化するのが
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
