PPLM: 指定した属性をもった文章を生成するシンプルな Deep Learning 手法 - Qiita

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 本記事は日鉄ソリューションズ（NSSOL）様でのインターンシップで執筆したものです． 本記事は以下の構成から成ります． 概要 本記事で解説するモデルPPLMについての大まかな説明をします． モデル構成 PPLMのモデル概観についての解説をします． PPLMの Attribute Model の設計と学習 PPLMの「小規模モデルの接続」というメインアイデアにおける，モデルの設計・学習の解説を実際のコードを交えながら行います． PPLMの実行 学習済のモデルを実行する際の処理の流れについて，実際のコードを交えながら解説を行います

[sh19910711]

arXiv:1912.02164 / "PPLM: controlled text generation というタスクに取り組んだ研究 + Transformer をデコーダに用いたモデルで文を生成する際に指定した属性に合った文章を生成 / self-attention の Key, Value を再帰的に更新する" / 2020