slay-tのブックマーク - はてなブックマーク

BERTのレイヤー数削減による多言語キーフレーズ抽出モデルの軽量化・高精度化 - Beatrust techBlog
こんにちは、Beatrust で Machine Learning Lead をしている Tatsuya （白川達也）です。以前、下記の記事でキーフレーズ抽出機能のご紹介をしましたが、その後の試行錯誤をした結果、以前に比べて軽量化・高精度化に成功したので、これまでにどのような工夫をしたのかをご紹介しようと思います。 tech.beatrust.com 下記は今回ご紹介する現状のキーフレーズ抽出における知見です。多言語BERTモデルを使っておくと、キーフレーズ抽出用に fine tune しても結構多言語転移できてしまう。キーフレーズ抽出において、BERTはフルレイヤーである必要はなく、最初の数層程度で十分。 BERT のAttention Map のみからでもキーフレーズの推定はできるが、BERTの出力をそのまま使ったほうがロバストっぽい。モデルの最後に Bi-LSTM のような
slay-t 2022/04/20
学習

map

自然言語処理

NLP

nlp
リンク
GKE Autopilot を半年運用してみて...めっちゃラク！ - Beatrust techBlog
Beatrust で SRE をやっている Yuta（中川裕太）です．運用がラクにできように色々と改善したり，セキュリティ向上したり，インフラ作ったり API 開発したりしています．今回のブログでは，Google App Engine (GAE) から Google Kubernetes Engine (GKE) Autopliot へ移行し半年間運用してみて感じたメリットやハマりポイントについて紹介します．モチベーション Beatrust では初期立ち上げの開発コストを下げるため，もともと GAE を用いて開発運用してきました．様々なお客様にご利用いただく中で，嬉しいことに今後 10 倍，100 倍のユーザ数成長が見込めるようになってきました．そういった状況下で以下のような GAE の課題も顕在化しており，インフラの抜本的見直しを実施する必要がありました． GAE では Auto
slay-t 2022/04/19
運用

開発

gcp

kubernetes

設定
リンク
Beatrust における Modern Data Stack(Exploratory / Hightouch / Holistics) の可能性検証 - Beatrust techBlog
こんにちは、Beatrust で Data Scientist をやっている Ouyang（欧陽江卉）です。 Beatrust では、ユーザー情報を匿名化した上でプロフィールデータや行動ログなどの様々なデータを蓄積・活用しています。また、クライアントや内部向けにデータ分析・レポーティングも行っています。それらのほとんどは手に馴染んだツールを使って内製しているのですが、近年モダンなデータスタックを用いたデータ利活用もトレンドになっています。今回は、そのトレンドをキャッチアップし、有用なツールがあれば積極的に導入していこうと考え、下記のツールを試用しそれぞれの強みをまとめてみました。データの探索的分析のツール Exploratory Reversed ETL プラットフォーム Hightouch データモデリング・レポーティングツール Holistics Beatrust のデータ分析にお
slay-t 2022/04/15
ツール

data

データ

tool
リンク
1