エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Sentence transformersをファインチューニング - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Sentence transformersをファインチューニング - Qiita
概要 Sentence transformerを使って、ファインチューニングするためのコードを書きました。 例として、l... 概要 Sentence transformerを使って、ファインチューニングするためのコードを書きました。 例として、livedoorニュースデータを使っています。 sentence trasnformersと、ファインチューニングについて簡単に紹介した後、実装のコードを掲載します。 Google Colabで実行できます。コードはこちらです。 Sentence transformerとは何か? BERT + pooling層の2層構造のモデルです。 何ができるのか? インプットをテキスト(文字)として、アウトプットはベクトルを出してくれます。 要は、テキストの埋め込みをしてくれるモデルとなっています。 何に使えるの? テキストを埋め込むということはテキストがベクトル化されます。ベクトル化されていると、ベクトル同士の類似度や距離の計算ができるようになるので、テキスト検索やレコメンドなどにつ