自然言語処理Advent Calendar 2021を見に行ってみたところ、今年は閑古鳥が鳴いている。もはや、自然言語処理ブームが過ぎ去った、ということなのかもしれないが、それでも、今年発表された日本語係り受け解析器のうち、私(安岡孝一)の目に止まったものを「総ざらえ」してみよう。 ja-ginza-electra transformers-ud-japanese-electra-base-ginzaをベースにした日本語係り受け解析器で、GiNZAの最新モデルである。単語間係り受けのみならず、文節間係り受けもサポートしており、日本語係り受け解析器としてはダントツの性能(私見)。 SuPar-UniDic 形態素解析部に10種類のUniDicを、係り受け解析部に21種類のBERTモデルを、つなぎ換えて楽しむ日本語係り受け解析器。どれをどう繋げば性能が出るのかわかりにくいが、使い方は3月12日

昨日、UD_Japanese-GSDLUWが仮リリースされた、との連絡をいただいたので、一晩かけて、日本語「長単位」解析モジュールbert-base-japanese-luw-upos・bert-large-japanese-luw-uposを作成した。esuparへの組み込みもうまくいったので、Google Colaboratoryで動かしてみよう。 !pip install esupar import esupar nlp=esupar.load("ja_luw") doc=nlp("全学年にわたって小学校の国語の教科書に大量の挿し絵が用いられている") import deplacy deplacy.render(doc,Japanese=True) deplacy.serve(doc,port=None) 全学年     NOUN  ═╗<══════╗ obl(斜格補語) にわたっ

今日のNINJALサロンで話題になったので、日本語「長単位」形態素解析器を試作してみることにした。方法としてはUD_Japanese-GSDのLUWPOSを、Transformersのrun_ner.pyとbert-base-japanese-char-extendedで、何とか「長単位」の系列ラベリングに落とし込む。Google Colaboratory (GPU版)だと、こんな感じ。 !pip install transformers datasets seqeval !test -d UD_Japanese-GSD || git clone https://github.com/universaldependencies/UD_Japanese-GSD !test -f run_ner.py || curl -LO https://raw.githubusercontent.com/

9月14日・一昨日・昨日の日記の手法を一まとめにして、esuparというpython3モジュールとしてリリース(仮)した。日本語と中国語(簡化字・繁体字および文言文/漢文)とタイ語の係り受け解析がおこなえる。Linux系OSなら $ python3 >>> import esupar >>> nlp=esupar.load("ja") >>> doc=nlp("太郎は花子が読んでいる本を次郎に渡した") >>> print(doc) 1    太郎    _    PROPN    _    _    12    nsubj    _    SpaceAfter=No 2    は    _    ADP    _    _    1    case    _    SpaceAfter=No 3    花子    _    PROPN    _    _    5    nsubj   

昨日の日記の手法を使って、bert-base-japanese-uposのトークナイザもBertTokenizerFastに入れ換えてみたところ、TokenClassificationPipelineの結果が改善された。Transformersを最新版に更新しつつ、ちょっとやってみよう。 $ pip3 install -U transformers $ python3 >>> from transformers import AutoModelForTokenClassification,AutoTokenizer,TokenClassificationPipeline >>> brt="KoichiYasuoka/bert-base-japanese-upos" >>> mdl=AutoModelForTokenClassification.from_pretrained(brt) >>

8月27日の日記に続いて、bert-base-thai-uposも作ってみた。Geotrend/bert-base-th-casedをもとに、Universal DependenciesのUPOSでファインチューニングしたものだ。試しにGoogle Colaboratoryで動かしてみよう。 !pip install transformers import torch from transformers import AutoTokenizer,AutoModelForTokenClassification tokenizer=AutoTokenizer.from_pretrained("KoichiYasuoka/bert-base-thai-upos") model=AutoModelForTokenClassification.from_pretrained("KoichiYasuo

自然言語処理Advent Calendar 2020を見に行ってみたところ、なぜか12月1日があいていたので、一日遅れだが書いてみることにした。日本語係り受け解析器としては、もちろんCaboChaが有名なのだが、係り受けの種類が分類されておらず使いにくい。一方、多言語係り受け解析器としてはspaCyが有名で、日本語モジュールも準備されているのだが、単語間係り受けのみで、文節間係り受けはサポートされていない。このあたりを埋めるべく、日本語係り受け解析器のうち、インターフェースがspaCy準拠となっているものを、私(安岡孝一)なりに「総ざらえ」してみよう。 GiNZA pythonのみで書かれた日本語係り受け解析器で、インストールしやすさにおいても、解析精度においても、現時点ではピカイチである(私見)。形態素解析器にSudachiPyを用いており、インターフェースはspaCy準拠の単語間係り受

ネットサーフィンしていたところ、Acrovisionの「自然言語処理とは？自然言語処理が行われる主な流れ6つ活用事例4つを紹介」(2021年3月4日)という記事に、以下のようなワケの分からない文面を見つけた。 図書館などで書籍検索システムに使われる「機械可読目録」は、自然言語処理の前段階として辞書的な役割を果たします。文字を認識する目のように読み取り、変換します。 私(安岡孝一)の知る限り、MARC (MAchine Readable Catalog, ISO 2709:2008)を自然言語処理の前段階に使ったりはしないのだけど。これ、どこかに元ネタがあるんじゃないかと思って、もうちょっとネットサーフィンしてみたところ、TRYETINGの「自然言語処理とは？仕組みや活用事例もあわせて解説」(2021年2月28日)というコラムに、以下のようなワケの分からない文面を見つけた。 機械可読目録はM

昨年12月26日の日記で紹介したSuParを、UniDic2UDに繋いで、SuPar-UniDicという日本語係り受け解析ツールを試作してみた。現時点では、10種類のUniDic(unidic-liteを含む)を、7種類のBERTモデルと繋げられるので、合計70種類の組み合わせが楽しめる。しかも、解析結果はspaCy準拠だ。とりあえず、インストール。 $ pip3 install git+https://github.com/yzhangcs/parser --user $ pip3 install suparunidic --user

ネットサーフィンしていたところ、DiaParserという係り受け解析ツールを見つけた。Transformers上で、22の言語の係り受け解析をおこなえるらしいが、品詞付与をおこなわずに、元の文に対してダイレクトに係り受け解析をおこなうようだ。とりあえず、DiaParserの日本語モデルを、Google Colaboratory上でdeplacyに繋いでみよう。 !pip install deplacy diaparser fugashi unidic-lite ipadic from transformers.tokenization_bert_japanese import MecabTokenizer tokenizer=MecabTokenizer(mecab_dic="unidic_lite") from diaparser.parsers import Parser parser