はじめに この記事のターゲットは「文書要約やりたいけど、ゼロからサーベイするのはちょっとしんどい・・・」という人です。おそらく未来の自分ですね。これさえ読めば、2021年以降のサーベイだけでもランドスケープがぼんやりわかるぞってなるように書きました。 記事は全3部の構成です。第一部では時系列順に文書要約というタスクの歴史を辿っていきます。第二部では、第一部でぱらぱらと出てきた知識を体系的にまとめます。最後に第三部において、実際に要約モデルを動かしてみたいと思います。手を動かさないと理解するのは難しいので。 それでは、まずは文書要約の歴史を追いかけてみましょう。 第1部 文書要約の歴史 前ニューラル時代 (2000以前〜2014) → 抽象型要約の登場 (2015) → 抽象型要約の発展 (2016〜2018) → BERTの登場、そして抽出型要約の再流行 (2019) → BERTを超えた
![文書要約の歴史を辿って(+BERTに文書要約させてみる) - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/43e2a979b5f76d75e3352cf8c19cc8ccc30aca61/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUU2JTk2JTg3JUU2JTlCJUI4JUU4JUE2JTgxJUU3JUI0JTg0JUUzJTgxJUFFJUU2JUFEJUI0JUU1JThGJUIyJUUzJTgyJTkyJUU4JUJFJUJGJUUzJTgxJUEzJUUzJTgxJUE2JUVGJUJDJTg4JUVGJUJDJThCQkVSVCVFMyU4MSVBQiVFNiU5NiU4NyVFNiU5QiVCOCVFOCVBNiU4MSVFNyVCNCU4NCVFMyU4MSU5NSVFMyU4MSU5QiVFMyU4MSVBNiVFMyU4MSVCRiVFMyU4MiU4QiVFRiVCQyU4OSZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9OTY3Y2U3YjY5MzNjOWE2ZTlkZTYwNWUxZDE0Mjk4ODY%26mark-x%3D142%26mark-y%3D100%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDBzaWlkYTM2JnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0wMjljMTZmMGFkMzVmMDMxZTIxNTcwY2UwNDY0ZTk4OQ%26blend-x%3D142%26blend-y%3D504%26blend-mode%3Dnormal%26s%3D7be90a028c72ba48a9096cc6c9aaf919)