深層学習系のトップ会議ICLR2020のNLP系論文についてざっくり紹介 - 株式会社ホクソエムのブログ

ホクソエムサポーターの白井です。今回はICLR2020 の論文を紹介します。 The International Conference on Learning Representations (ICLR) は機械学習の中でも特に深層学習 を専門とした国際会議です。 OpenReview.net によるopen peer reviewを採用しているので、submitされた論文はだれでも閲覧可能です。(ICLR2020 open review) 2020年はエチオピアで開催予定でしたが、COVID-19の影響でvirtual conferenceとなりました。 今回はNLP系の論文について5本紹介します。 すでに日本語ブログ記事で紹介されているような論文もありますが、自分が興味を持った部分を中心としてざっくりと紹介したいと思います。 以降、とくに記載がない場合、図は論文またはブログからの引用で

[misshiki]

“1. Reformer: The Efficient Transformer、2. GENERALIZATION THROUGH MEMORIZATION: NEAREST NEIGHBOR LANGUAGE MODELS、3. Neural Machine Translation with Universal Visual Representation、4. ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS、5. LANGUAGE GANS FALLING SHORT

[muddydixon]

2番めの論文、格フレームの言い換えをコーパスから習得する、みたいな感じで面白いな