はてなブックマーク

TL;DR OpenAI の Embeddings を JSTS で評価したところ、 BERT を JSTS でファインチューニングした場合には劣るものの、分散表現を得る手法としては十分な性能を持っていることが分かった。 Amazon Titan Embeddings が 2023 年 9 月 29 日に GA (一般提供) になったので追加調査したが、 JSTS スコアは OpenAI がまさった。 Cohere Embed Multilingual が Amazon Bedrock にて 2023 年 11 月 13 日に利用可能になったので追加調査したが、 JSTS スコアにおいて OpenAI (V2) を超える性能を示した。 2024 年 1 月 25 日に公開された V3 モデルを追加調査したところ、比較した埋め込み (embeddings) モデルの中で最高の性能となった。