Abstract• Transformer モデルをテキスト生成タスクで使用する場合、計算コストに難がある • 計算コストを抑えつつ Transformer の予測性能を活かすために、Positional Encoding を LSTM に置き換えた LSTM+Transformer モデルを考案 • 生成にかかる時間を Transformer の約 1/3(CPU 実行時)に抑えることができた はじめにTransformer は現在の自然言語処理分野における代表的な深層学習モデルの1つです。さまざまなベンチマークを総なめにした Google の BERT とその派生系 (XLNet, ALBERT, etc.) や、OpenAI の GPT-2 など、最近の研究のベースにあるのが Transformer です。 Transformer の特徴として、LSTM などの従来の RNN にあっ
![【ディープラーニング自由研究】LSTM+Transformer モデルによるテキスト生成|tanikawa](https://cdn-ak-scissors.b.st-hatena.com/image/square/4fdc483b10c23f2673171a292ee9252203fb3d2b/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F23632139%2Frectangle_large_type_2_dfc124a0f4b8cac7ac1d9a918041d599.png%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)