ホクソエムサポーターの白井です。 EMNLP-IJCNLP 2019 (以降 EMNLP) が先日、香港で開催されました。 EMNLPは Empirical Methods in Natural Language Processing の略称で、ACLやNAACLと並ぶ、計算機科学のTop conferenceと言われてます*1。 今年採択されたEMNLPの論文は682本 (＋システム/デモ論文45本) です。 (年々増えています。) 今回は、EMNLP2019の論文から、いくつか気になったものを紹介します。 前回に引き続き、検証系の論文とデータ構築についての論文をメインに扱います。 以降、記載する図表は、明記しない限り、論文から引用しています。 1. ner and pos when nothing is capitalized 2. A Little Annotation does a
Japanese Language Analysis by GPU Ready Open Source NLP Frameworks
Japanese Language Analysis by GPU Ready Open Source NLP Frameworks Hiroshi Matsuda GPU Technology Conference 2020 1 This document is published under CC BY 4.0 license from Megagon Labs, Recruit Co., Ltd. Contents 自然言語処理技術の進歩とGPUが与えた影響 ルールベースからTransformersまで NLP Frameworkを用いた日本語の解析 世界の全言語を統一的に扱うUniversal Dependenciesとその日本語化 GiNZAの文節API GPU Ready OSS NLP Frameworks spaCy v2.3 → v3.0 Stanza
Transformer（トランスフォーマー）は、2017年6月12日にGoogleの研究者等が発表した深層学習モデルであり、主に自然言語処理 （NLP）の分野で使用される[1]。 自然言語などの時系列データを扱って翻訳やテキスト要約などのタスクを行うべく設計されているのは回帰型ニューラルネットワーク （RNN）と同様だが、Transformer の場合、時系列データを逐次処理する必要がないという特徴がある。たとえば、入力データが自然言語の文である場合、文頭から文末までの順に処理する必要がない。このため、Transformer では 回帰型ニューラルネットワークよりもはるかに多くの並列化が可能になり、トレーニング時間が短縮される[1]。 その導入以来、Transformer モデルは自然言語処理の多くの問題に取り組む上で広く選択されており、 Long Short-term Memory（LS
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
EMNLP2019の気になった論文を紹介 - 株式会社ホクソエムのブログ
)
Transformer (機械学習モデル) - Wikipedia