Meta-Llama-3-8BでのFew-Shot Promptingによる日本語品詞付与 - Qiita

Meta-Llama-3-8Bは、Swallow-7b-plus-hfと同様のLLaMAモデルなのだが、昨日の記事にも書いたとおり、トークナイザの日本語対応がイマイチである。これがどういう問題を引き起こすか、国語研短単位でのUPOS (Universal Part-Of-Speech)品詞付与をFew-Shot Promptingで挑戦してみよう。5つの例文は、この記事と全く同じものを選んだ。 >>> class TextUPOSList(list): ... __str__=lambda self:"\n".join("###text:"+"".join(t for t,u in s)+"\n###UPOS:"+"|".join(t+"_"+u for t,u in s) for s in self)+"\n" ... >>> ex=TextUPOSList() >>> ex.appen