エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
事前学習の改善で自然言語処理の精度向上|Transformerベースのモデル「ProphetNet」
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
事前学習の改善で自然言語処理の精度向上|Transformerベースのモデル「ProphetNet」
こんにちは、インフォマティクスで機械学習業務を担当している大橋です。 今回はディープラーニングを用... こんにちは、インフォマティクスで機械学習業務を担当している大橋です。 今回はディープラーニングを用いた自然言語処理の論文、ProphetNet [1] を紹介したいと思います。 既存の構造に対する修正を最小限にし、ちょっとした発想で事前学習の方法を改善して精度を向上させたことが書かれている興味深い論文です。 自然言語処理と転移学習 自然言語処理とは、機械に日本語や英語等の言語を理解・判別させたり生成させたりする処理のことです。例えば迷惑メールの判別、文章の自動要約、日英翻訳などがこれにあたります。 これらを機械学習で実現しようとしたときに問題になるのが、正解付き学習データの作成です。 十分な精度を出すには相応の量を用意する必要があり、多くの場合人間が手作業で作成するため、かなりの時間がかかります。先の要約の例だと、ニュース記事等の文章に対してその要約文を作成する作業です。 この問題を軽減す