Hugging Face Courseで学ぶ自然言語処理とTransformer 【part6】

はじめに 前回part5から期間が開いてしまいましたが、 Hugging Face CourseのHandling multiple sequences~Putting all togetherあたりの内容をベースに、Chapter2のまとめを行なっていきます。 モデルへの入力はバッチ処理の形式を想定 テキストをトークンに分割して数値データに変換するまでは下記のようにしてできます。 import torch from transformers import AutoTokenizer, AutoModelForSequenceClassification checkpoint = 'cl-tohoku/bert-base-japanese-whole-word-masking' # checkpointからtokenizerとmodelをロード tokenizer = AutoTokeni

[xiangze]

return_tensors="np"