深層学習を用いた文生成モデルの歴史と研究動向

4. 言葉の構成単位  文字  言語を表記するために使われる記号の最小単位  Ex) a, あ, 1, 自  単語（𝑤 𝑛 ）  文字を組みあわせて作られる、意味を表し構文上の働きを持つ最小単位  Ex) Natural, 自然  文（𝑤1 … 𝑤 𝑛 、 𝐰 ）  単語を組み合わせて作られる、一区切りのまとまりある考え等を示すもの  単語列（𝑤1 … 𝑤𝑖 ）  単語を並べたもの  文も単語列の一種

[misshiki]

スライド資料“深層学習を用いた文生成モデルの歴史と研究動向”。分かりやすくまとまっている。

[EternalBlueBullet]

ふむふむ。BERT以降も発展が続いているのだなぁ。

[Nyoho]

RNN, seq2seq, attention (transformer)、その後の展開も書かれている。GPT-3