3月18日に書いたMistralForTokenClassificationを使って、Swallow-MS-7b-uposを作ってみた。NVIDIA A100-SXM4-40GBを8枚使えば、モデルの作成時間を1時間30分にまで短縮できるようになったが、予想に反して品詞付与の精度はイマイチだったりする。 >>> from transformers import pipeline >>> tag=pipeline("upos","KoichiYasuoka/Swallow-MS-7b-upos",trust_remote_code=True) >>> nlp=lambda x:[(x[t["start"]:t["end"]],t["entity"]) for t in tag(x)] >>> print(nlp("予想に反して品詞付与の精度はイマイチ")) [('予想', 'NOUN'),