Universal Sentence Encoderによる文章埋め込みの紹介と、転移学習への有用性の検証 - GMOインターネットグループ グループ研究開発本部

2022.01.12 Universal Sentence Encoderによる文章埋め込みの紹介と、転移学習への有用性の検証 こんにちは。次世代システム研究室のS.Y.です。なんだかお堅そうなタイトルですが、今回はNLPネタです。 NLPの分野ではコンピュータに言語を理解させ、人間のように高度な言語認識・処理を行わせることが大きな目標の一つです。 近年の機械学習モデルベースなNLP手法は世界中の文書コーパスを学習データとすることで、高度で複雑な言語表現空間の獲得に成功し、文書分類・質問応答・含意関係認識(NLI)など様々なタスクで成果を上げています。 一方で実社会の企業・機関にとっては、それぞれに固有なタスクのために巨大な規模のデータセットを用意することは容易ではありません。そこで近年、巨大なコーパスで事前学習したモデルを使った転移学習の需要が高まっています。 転移学習に有用な埋め込みベ

[sh19910711]

"Universal Sentence Encoder: 文脈を考慮した各単語のベクトルを足し込み + 文章の長さで正規化 / Deep Average Network: 単語とbi-gramの埋め込みベクトルを算出 + averageなベクトルをMLPを通して固定長のベクトルへと変換" arXiv:1803.11175 2022