bert-as-serviceを使って日本語の文章を埋め込み表現ベクトルに変換してみる | DevelopersIO学習済みの汎用言語表現モデルBERTを使って文章を埋め込み表現(数値ベクトル)に変換することができるbert-as-serviceを触ってみました。 テキストを埋め込み表現に変換するサーバーモジュールを用意するのは、BERTのモデルを読み込んで、必要なレイヤーを抜き出し、テキストをトークン化して入力して、処理を順次捌くためにキューに渡して、複数のワーカープロセスを制御して...と結構大変です。bert-as-serviceはこういった処理をラップしてくれているので、専用のサービスを起動して、クライアントモジュールからリクエストを投げるだけでテキストの埋め込みが出来ます。簡単。 ではbert-as-serviceを使った文章の埋め込み表現への変換について紹介していきます。 BERT(Bidirectional Encoder Representations from Transformers
