BERTのレイヤー数削減による多言語キーフレーズ抽出モデルの軽量化・高精度化 - Beatrust techBlog
こんにちは、Beatrust で Machine Learning Lead をしている Tatsuya （白川 達也）です。 以前、下記の記事でキーフレーズ抽出機能のご紹介をしましたが、その後の試行錯誤をした結果、以前に比べて軽量化・高精度化に成功したので、これまでにどのような工夫をしたのかをご紹介しようと思います。 tech.beatrust.com 下記は今回ご紹介する現状のキーフレーズ抽出における知見です。 多言語BERTモデルを使っておくと、キーフレーズ抽出用に fine tune しても結構多言語転移できてしまう。 キーフレーズ抽出において、BERTはフルレイヤーである必要はなく、最初の数層程度で十分。 BERT のAttention Map のみからでもキーフレーズの推定はできるが、BERTの出力をそのまま使ったほうがロバストっぽい。 モデルの最後に Bi-LSTM のような
日本語辞書ありキーワード抽出器からの多言語辞書なしキーワード抽出器の Distillation - Beatrust techBlog
Beatrust の tatsuya（白川）です。Beatrust は 人々の経験や強みを可視化して、自由に繋がり、協業・共創できる環境を作る という Mission を達成するためのサービスづくりとお客様への提供・活用促進活動を行っています。 beatrust.com キーワード抽出は Beatrust の基礎技術のひとつなのですが、これまで Beatrust で開発していたキーワード抽出器は辞書を用いたルールベースのものだったので、辞書外のキーワードを抽出できないというデメリットがありました。Beatrust のお客様は様々な業界に渡っており、それぞれ固有の専門用語や社内でのみ通用する社内用語なども多く、辞書ベースの方法ではそれらのキーワードを抽出することは現実的に不可能でした。 今回そんな状況を鑑みて、辞書ベースのキーワード抽出器を用いて、辞書なしのキーワード抽出器を学習するというチ
ローンチ前の Tag Suggestion 機能を機械学習で作る - Beatrust techBlog
Beatrust の ML Lead の Tatsuya（白川 達也）です。 機械学習はデータからの学習プロセスを経てデータに最適化した機能を提供する技術ですが、新しい機能の導入前の段階ではユーザーの行動ログデータなどが蓄積されていないため、機械学習ベースの機能を新規提供することには本質的な困難さがあります。 本記事は、Beatrust People における Tag Suggestion 機能を例に、そのような状況においてどのように機械学習ベースの機能を構築していったのかを記したものです。 本記事で書いたこと Beatrust における Tag Suggestion 機能の紹介 データがない状況でどうあがいたか 機能改善ポイント（Relevance、Importance、Diversity） 仲間を募集しています！ なお、今回の記事は私のほかにもいつも Beatrust を手伝ってくれて
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
