BERTを超えたXLNetの紹介
概要https://arxiv.org/abs/1906.08237 XLNetは2019/6/19に、”XLNet: Generalized Autoregressive Pretraining for Language Understanding”と題してArxivに投稿された論文です。一言(?)でいうと Transformer-XLを単語の順序を入れ替えた（元の順序情報は保持）もので学習させることで、自己回帰モデルで双方向の意味依存関係を取得できるようにしたと主張。20を超えるタスクでBERT超え。 といったところでしょうか。この記事では、背景となる関連技術も含めてXLNetの着想と技術について順々に説明していきます。 自然言語処理のタスク学習の流れと事前学習の種類深層学習を用いた自然言語処理は翻訳、QAタスク、文書分類など多岐にわたります。 深層学習でそれらのタスクを解く際は、タス
Text classificationで、簡単な対話エージェントを作ってみるチュートリアル - tuttieee’s blog
Text classificationで作る簡単な対話エージェント 自然言語処理 Advent Calendar 2017 - Qiita の24日目です。 シンプルな対話エージェントを作ることをゴールに、自然言語処理タスクの一種であるText classificationとその周辺のプログラミングを解説するチュートリアルです。 対象：プログラミングはしたことあるが、機械学習はやったことがない人 言語：Python3 一部内容を http://tuttieee.hatenablog.com/entry/bag-of-words に移動し、追記しました。 また、本稿は、拙著「15Stepで踏破 自然言語処理アプリケーション開発入門」の第2章 Step1の内容を、出版社の許可を得て掲載しています。 ■1章 演習に入るまえの予備知識 1 序論・自然言語処理と機械学習 2 本書の執筆・開発環境 3
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
