エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
huggingface/transformersのBertModelで日本語文章ベクトルを作成 - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
huggingface/transformersのBertModelで日本語文章ベクトルを作成 - Qiita
事前学習済みBERTから日本語文章ベクトルを作成する方法を紹介します。 環境 Python (3.6.9) PyTorch (1... 事前学習済みBERTから日本語文章ベクトルを作成する方法を紹介します。 環境 Python (3.6.9) PyTorch (1.3.0) transformers (2.5.1) 手順 1. モデル読み込み import torch from transformers.tokenization_bert_japanese import BertJapaneseTokenizer from transformers import BertModel # 日本語トークナイザ tokenizer = BertJapaneseTokenizer.from_pretrained('bert-base-japanese') # 事前学習済みBert model = BertModel.from_pretrained('bert-base-japanese')