BERT2BERTによるニュース記事のタイトル生成 - Qiita

はじめに huggingfaceを使ったEncoder-Decoderモデルの練習の一貫として、BERT2BERTによる文章生成をやってみました。 BERT2BERTはEncoder-Decoderモデルの一種で、Encoder層もDecoder層もBERTのアーキテクチャーを採用したモデルのことを言います。 ただし、Decoder層のBERTは通常のBERTと以下の2点で異なります。 最初のMutil Head AttentionがMusked Multi Head Attenion(単方向)になってる MMHAとFFNの間にCross Attention層があり、Encoderの特徴量を受け取れるようになってる アーキテクチャーはほぼほぼTransformerと同様の認識ですかね。この辺の構造も含めて、Encoder-DecoderモデルやBERT2BERTの理論的なお話やhuggin

[misshiki]

チュートリアル。日本語使用。

[UDONCHAN]

面白い

[sh19910711]

"BERT2BERT: Encoder層もDecoder層もBERTのアーキテクチャーを採用したモデル / 正直生成文章はとてもイマイチな結果 > データ量が少ない + 学習の仕方ももう少し工夫が必要なのかも / GPT-2のほうが日本語が流暢だった"