BERTのレイヤー数削減による多言語キーフレーズ抽出モデルの軽量化・高精度化 - Beatrust techBlog

こんにちは、Beatrust で Machine Learning Lead をしている Tatsuya （白川 達也）です。 以前、下記の記事でキーフレーズ抽出機能のご紹介をしましたが、その後の試行錯誤をした結果、以前に比べて軽量化・高精度化に成功したので、これまでにどのような工夫をしたのかをご紹介しようと思います。 tech.beatrust.com 下記は今回ご紹介する現状のキーフレーズ抽出における知見です。 多言語BERTモデルを使っておくと、キーフレーズ抽出用に fine tune しても結構多言語転移できてしまう。 キーフレーズ抽出において、BERTはフルレイヤーである必要はなく、最初の数層程度で十分。 BERT のAttention Map のみからでもキーフレーズの推定はできるが、BERTの出力をそのまま使ったほうがロバストっぽい。 モデルの最後に Bi-LSTM のような

[sh19910711]

"UCPhrase (SIGKDD21): 教師なしでキーフレーズ抽出 / BERT の出力するベクターは高次元過ぎて過学習（キーフレーズの丸覚え） > 各レイヤーの Attention Map を重ね合わせてそれをあたかも画像のように扱い、CNN で特徴抽出"

[misshiki]

“UCPhrase ”