自然言語処理 ベクトル化の手法

はじめに 文章を固定長ベクトルに変換する方法はないかなあと調べていたら、SentenseBertというものを見つけました.それ以外にもベクトル化にはいろいろな方法があるようで調べた内容を少しまとめてみようと思います. ベクトル化の用途 ベクトル化することによる応用の仕方はいろいろですが、文書ベクトルの応用としては以下のようなことが可能です. 類似文書の検索 文章間の類似度を測っておすすめの記事をレコメンド 画像検索エンジン(文章ベクトルと画像ベクトルの類似度を測る) さまざま手法 word2vecに始まり、自然言語の機械学習によるベクトル化のアルゴリズムは常に改良されてきました. いくつか有名なものをピックアップして紹介します. word2vec(2013) 米グーグルの研究者、トマス、ミニコフらが開発しました。 周辺語から中心単語(CBOW), あるいは中心単語から周辺語(Skip-gr

[misshiki]

“より質の高いベクトルを得る手法としてSentence Bertが開発されました.”