論文タイトルから学会流行を知り，日本語GPT-2でタイトル生成してみよう! - Qiita

こちらもグラフにしてみました。多言語BERTを含む論文タイトルのBERT部分がカウントされ，BERTの出現回数が増加しました。加えて，ニューラル機械翻訳の機械翻訳や，単語分散表現の分散表現が部分一致となるため，その分もプラスでカウントされています。 やはり，機械翻訳と言語モデルに関するワードが上位に来ました。 ニューラル機械翻訳は2021年に下がってますが，関連ワード(機械翻訳・Transformer)が多いままなので，流行が続いていそうです。機械翻訳 = ニューラル機械翻訳という認識が広がったため，ニューラル機械翻訳ではなく，機械翻訳という単語だけを使うようになっている，というのも理由の一つかもしれないですね。 タイトルとしては，BERT と Transformer が同じ年に初めて出て来ていますね(Transformerは2017年，BERTは2018年に元論文が発表されています)。