日本語話し言葉BERTを作成、公開します！ - Retrieva TECH BLOG

こんにちは。 カスタマーサクセス部リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。 今回の記事では、国立国語研究所様との共同研究で作成した日本語話し言葉BERTとその利用方法について紹介します。 概要 BERTの簡単な説明 話し言葉BERT作成方法 書き言葉BERTの文法を表現する部分のみをCSJで追加学習 書き言葉BERTに対して、話し言葉データを用いた分野適応 実験 文法を表現する部分のみを追加学習することの有効性の確認 話し言葉データを用いた分野適応を行うことの有効性の確認 日本語話し言葉BERTの公開 ご利用方法 まとめ 概要 近年、自然言語処理の分野ではBERT（Bidirectional Encoder Representations from Transformers）と呼ばれるモ

[knok]

うーん、フォーム申請が必要か…まあ元のコーパスがCSJだししょうがないのかなあ

[somemo]

“今回はCSJを用いて日本語話し言葉BERTを作成しました。 ”

[Nyoho]

「話し言BERT」って名前にすればいいのに!(そこかよ

[misshiki]

“国立国語研究所様との共同研究で作成した日本語話し言葉BERTとその利用方法について紹介”