gengohouseのブックマーク - はてなブックマーク

Ginzaで形態素解析、係り受け解析、固有表現抽出、ユーザー辞書追加 - iMind Developers Blog
概要 Ginzaを使ってNLPでよく使ういくつかの処理を動かしてみる。バージョン情報 ginza==2.2.0 Python 3.7.4 インストール pipで入れられる。 $ pip install "https://github.com/megagonlabs/ginza/releases/download/latest/ginza-latest.tar.gz" 詳細は下記参照。 https://megagonlabs.github.io/ginza/ 形態素解析 Ginzaは内部的にはSudachiPyを利用している。 import spacy nlp = spacy.load('ja_ginza') doc = nlp('庭にいる犬が鳴いてる') for sent in doc.sents: for token in sent: print( 'token.i={}'.forma
gengohouse 2021/09/08
リンク
ginza(spacy)で固有表現抽出のtrain - iMind Developers Blog
概要固有表現抽出を行いたかったので、spacyでnerのtrainを行ってみる。例として既存のginzaのモデルでは「10,000円」はMONEYとして抽出されるけど「\10,000」は認識されない問題を解決するモデルを作成。バージョン情報 ginza==2.2.0 Python 3.7.4 参考ページ ner（Named Entity Recognition）の学習については下記ページを参考にした。 https://medium.com/@manivannan_data/how-to-train-ner-with-custom-training-data-using-spacy-188e0e508c6 ginzaではtrain_ner.pyというスクリプトが用意されている。 https://github.com/megagonlabs/ginza/blob/develop/ginz
gengohouse 2020/08/07
固有表現
リンク
1

はてなブックマーク