近年、自然言語処理のディープラーニングの発展はめざましく、Transformer をベースとした BERT、GPT-3、T5 によって次々にこれまでの精度を超えるモデルが構築されています。そして、自然言語処理のタスクのラスボスと言ってもいよいテキスト生成において、人間が作るものと遜色ないレベル、いや、それを上回るレベルまで達していると言われています。 テキスト生成モデルを自由に構築できれば、めんどくさいメールのやりとりから開放されたり、自分に似た Twitter Bot にいいねを稼いでもらえたりなど、楽しい未来が待っているはずです。ということで、今回は Transformer をベースとしたテキスト生成モデルである T5 をネットで入手できるデータを使って構築します。 今回は以下のリンク先を参考にさせてもらい、Pytorch と Transformers だけでモデルを構築できるようにし
![Pytorchを使ってテキスト生成モデルのT5を構築 〜Transformersでの転移学習による手軽な実践〜 - 見習いデータサイエンティストの隠れ家](https://cdn-ak-scissors.b.st-hatena.com/image/square/3afb5deac12d6bff10c49050937c0f2fd1ace4c8/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fd%2Fdskomei%2F20210928%2F20210928083851.png)