BERTを利用した日本語文書要約をやってみた - Retrieva TECH BLOG

こんにちは。 カスタマーサクセス部リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップを行っております。 今回の記事では、以前作成した日本語wikiHow要約データに対して、BERTを用いて抽出型、抽象型要約を行った話をします。 概要と背景 wikiHow要約データの特徴 BERTを用いた要約 抽出型要約 抽象型要約 実験 実験設定 実験結果 まとめ 概要と背景 前回の記事ではwikiHowから日本語要約データを作成しました。 その記事内では、簡単な要約実験として教師なし抽出型要約を試しました。 今回は、BERTを利用した抽出型、抽象型要約を用いて要約実験を行いたいと思います。 wikiHow要約データの特徴 前回の記事の再掲になりますが、wikiHow要約データ量は次の通りとなっています。 train dev test

[misshiki]

“前回の記事ではwikiHowから日本語要約データを作成しました。 その記事内では、簡単な要約実験として教師なし抽出型要約を試しました。 今回は、BERTを利用した抽出型、抽象型要約を用いて要約実験を行いたいと”