spaCyで文字単位のNERアノテーションを単語単位に変換する - radiology-nlp’s blog

はじめに 固有表現抽出 (Named Entity Recognition (NER)) は，英語データに対して行う場合，基本的に単語単位の系列ラベリングタスクとなります． このため，データセットもあらかじめ単語単位でラベル付けされていると便利です． しかし，世の中には残念ながら単語単位でラベル付けされていない場合も沢山あります． たとえば brat でアノテーションされたデータセットでは，各ラベルの位置は文書頭から「何単語目か」ではなく「何文字目」で表されています(!) そこで，spaCyを用いて文字単位のNERデータセットを単語単位に素早く変換してみました． 動作環境 python v3.6.4 beautifulsoup4 v4.9.3 spacy v2.1.9 pandas v1.1.5 対象データ ここでは i2b2 2012 shared task を例にとります． https