捨ててしまうのはもったいない！BERTの出力を組み合わせて文ベクトルを作るSBERT-WK

3つの要点 ✔️ BERT の埋め込み表現が各層で異なる情報を捉えていることを実証 ✔️ 各層の情報を統合して文ベクトルを構成する手法を提案 ✔️ 提案手法で主要なタスクでの精度向上を達成 SBERT-WK: A Sentence Embedding Method by Dissecting BERT-based Word Models written by Bin Wang, C.-C. Jay Kuo (Submitted on 16 Feb 2020 (v1), last revised 1 Jun 2020 (this version, v2)) Comments: Accepted at arXiv Subjects: Computation and Language (cs.CL); Machine Learning (cs.LG); Multimedia (cs.MM) Of

[knok]

sentence-bertは日本語に対応した実装があるけどこちらは今のところ英語のみっぽい

[misshiki]

“BERT が捉えている情報を上手く用いることによって、SBERT をさらに改良した SBERT-WK というモデルをご紹介”