事前学習モデルT5とTransformersを使ってお手軽日本語文書要約をやってみた - Retrieva TECH BLOG

こんにちは。 カスタマーサクセス部リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。 今回の記事では、事前学習モデルであるT5を使って日本語文書要約を行った話を紹介します。 概要 T5の簡単な説明 Transformersを用いた抽象型要約 データの準備 学習および推論を行う 実験 実験設定 日本語要約タスクについて 比較手法について 実験結果 Livedoor News wikiHow 出力例 まとめ 概要 近年、自然言語処理の分野では事前学習を利用した研究が盛んに行われています。 有名な事前学習モデルとしては、BERT（Bidirectional Encoder Representations from Transformers）1と呼ばれるモデルが盛んに研究されています。 事前学習モデルの良