ACL 2019より以下の論文を紹介。 Towards Robust Named Entity Recognition for Historic German この論文は、昔のドイツ語(1700年〜1900年くらい)に対する固有表現認識を行った論文。「昔のドイツ語の固有表現認識になんか興味ねーよ」と思うかもしれないが、要するに低リソースかつノイジーなテキストに対する固有表現認識を上手くやるための方法だと考えればいい。手法としては言語モデルを事前学習して、それを使って固有表現認識するというもの。時代の異なる２つのデータセットに対して検証したところ、従来手法より良い結果となった。 昔のドイツ語に対する固有表現認識には3つの課題がある。一つはリソースの量が少ない点。現在よく使われているCoNLL 2003のデータセットと比べると、タグの付いたデータ量が少なく、その分難しくなっている。2つ目はテキ
実践！固有表現認識 ~Flairを使って最先端の固有表現認識を体験しよう~ - Ahogrammer
自然言語処理の分野で昔から研究され、実際に使われている技術として固有表現認識があります。固有表現認識は、テキスト中で固有表現が出現する位置を特定し、人名や地名などのラベルを付与するタスクです。情報抽出や質問応答、対話システムなどへの幅広い応用が可能なため、今でも盛んに研究され、使われている技術です。本記事では、日本語の固有表現認識をFlairと呼ばれるPythonパッケージを使って実現する方法について紹介します。 準備 本記事では Flair を使って固有表現認識のモデルを学習させます。Flairは最先端の自然言語処理のモデルを簡単に使い始められる形で提供してくれているパッケージです。その中で提供されている機能として、固有表現認識や品詞タグ付け、文書分類のモデルを学習するための機能があります。使い始めるために、以下のようにしてFlairをインストールしておく必要があります。 $ pip i
一週間ほど前、AWS LambdaにElastic File System（EFS）をマウントできる機能が追加されました。この機能を使うことで、マウントしたEFS上への読み書きがLambda関数からできるようになりました。これまではLambdaの制限により、/tmpで使用可能な容量が512MBなので、大きなファイルの読み込みは難しかったのですが、EFSを使うことでそれが可能になります。特に機械学習系のパッケージやモデルの容量は何かと大きいので、新機能の恩恵に与ることになります。 そういうわけで、本記事ではEFSに日本語の自然言語処理ライブラリであるGiNZAを置いて、それをLambdaから呼び出してみようと思います。実のところ、GiNZAのパッケージは400MB程度なので、/tmpに載せることもできるはずです。その場合は、Lambda LayersとLambdaを組み合わせて、S3上に置い
ACL 2019より以下の論文を紹介。 Reliability-aware Dynamic Feature Composition for Name Tagging この論文では、単語分散表現の信頼性を考慮した固有表現認識を行うモデルを提案している。単語分散表現は広く使われているが、低頻度語や未知語のように文脈が十分に存在しない単語の場合はその信頼性は頻出語と比べて低い。しかし、現在のモデルはすべての分散表現を等しく重み付けしているため、それによって性能を損なっている可能性がある。そこでこの論文では、単語の出現頻度を基に分散表現の信頼性を計算し、モデルに組み込んでいる。実験の結果、従来より良い結果を得られた。 以前から知られているが、現在の固有表現認識のモデルは未知語に弱いという課題がある。たとえば、以下の例を考えてみよう。 例: 先日の雨で鬼難橋が流された。 「鬼難橋」というのは私が作っ
ACL 2019より以下の論文を紹介。 Tuning Multilingual Transformers for Language-Specific Named Entity Recognition この論文は、ロシア語、チェコ語、ブルガリア語、ポーランド語に対する固有表現認識をBERTを使って解いた論文。Googleの公開している多言語BERTを各言語のデータセットを使ってチューニングしたところ、多言語BERTをそのまま使うより良い結果となった。バルト系・スラブ系言語の自然言語処理を行うシェアドタスクであるBSNLP 2019の固有表現認識で1位だったとのこと。 BERTを使った固有表現認識の研究は多数あるが、ここで課題としているのは2点ある。一つは、オリジナルのBERTには今回対象とするスラブ系言語固有のサブトークンが欠けていることがある点。サブトークンが欠けているとテキストの分割に影
NAACL 2019より以下の論文。あのAkbikの手法がパワーアップして帰ってきた！ Pooled Contextualized Embeddings for Named Entity Recognition この論文では、固有表現認識を行う際に、今までの認識に使った単語の分散表現を記憶しておき、その情報を使って性能を向上させる手法を提案している。最近の固有表現認識では言語モデルによって得られる分散表現を利用するが、そこでの課題として、文脈が十分にないまれ語に対しては良い表現を得られないという問題がある。たとえば、以下の文の「Indra」は文脈が十分ではないまれ語なので、組織なのか人名なのかの解釈が難しい。 上手くいかない例 直感的には、文脈が十分にないまれ語について読者が正しく解釈するためには、その単語について知っておく必要がある。では、読者はどこで知るのかというと、そのまれ語が出現す
Deep Insider on Twitter: "自然言語処理モデルを高速かつ簡単にトレーニング＆デプロイするためのAutoNLPが、日本語に対応したそうです。 二値分類、多クラス分類、固有表現認識、要約、音声認識モデルを「日本語」で学習できるようになりました。 https://t.co/G2cdaP8Wov"
自然言語処理モデルを高速かつ簡単にトレーニング＆デプロイするためのAutoNLPが、日本語に対応したそうです。 二値分類、多クラス分類、固有表現認識、要約、音声認識モデルを「日本語」で学習できるようになりました。 https://t.co/G2cdaP8Wov
ACL 2019より以下の論文を紹介。 Sequence Tagging with Contextual and Non-Contextual Subword Representations: A Multilingual Evaluation この論文では、2つの系列ラベリングタスク（固有表現認識と品詞タグ付け）に対して、3つのサブワードの分散表現（FastText、BPEmb、BERT）のどれが有効なのかを調査している。最近の自然言語処理タスクでは事前学習済みの分散表現が使われる。特に2018年以降はELMoやBERTなどの文脈を考慮した分散表現が使われるようになってきている。しかし、どの分散表現を使うのが良いのか包括的に調査した研究はなく、実務者が分散表現の選択を行うのを難しくしている。そういうわけで、265言語に対して調査を行った。 調査の結果、以下の示唆を得られた。 大規模データ
spaCyで英文の固有表現認識 - け日記
今回はspaCyを使って英文の固有表現認識を行ってみます。 GiNZAを使った日本語の固有表現認識はこちら↓です。 ohke.hateblo.jp 固有表現抽出 固有表現認識 (named entity recognition: NER) は、文書から固有表現 (named entity) を抽出・分類することです。 固有表現には、固有名詞や、数字を含む表現などが該当します。固有表現は、時事性を持っていたり、数字によって膨大なパターンが存在していたりするため、辞書化が難しいものです。 そのため「辞書には無いけどこれはXに分類される単語だな」ということだけでもわかると、この後のタスクの精度改善に寄与できます。 分類 (ラベル) はいくつか定義がありますが、例えばMUC (参考) で定義されているのは7種類です。 ラベル 例 組織名 IEEE, 阪神タイガース 人名 田中, 所ジョージ 地名
アノテートされたデータがないドメインで固有表現認識！？
3つの要点 ✔️ 弱教師あり学習の手法でラベリングされたデータセットがないドメインでの固有表現認識 ✔️ 複数のラベリング関数と隠れマルコフモデルによる、ドメイン外のデータセットのラベリング ✔️ 2つのデータセットで従来のドメイン外の固有表現認識のモデルから7%の性能向上 Named Entity Recognition without Labelled Data: A Weak Supervision Approach written by Pierre Lison,Aliaksandr Hubin,Jeremy Barnes,Samia Touileb (Submitted on 30 Apr 2020) Comments: Published by ACL 2020 Subjects: Computation and Language (cs.CL); Machine Learni
一月ほど前の話になりますが、spaCy v3.3.1がリリースされました。いくつかの機能の追加とバグフィックスが行われているのですが、その1つとしてSpanRulerと呼ばれるコンポーネントが追加されています。このコンポーネントはルールベースで固有表現認識などを行うための機能を備えています。日本語での解説を見かけなかったので、本記事で簡単に紹介します。 SpanRulerとは？ spaCyでルールベースの固有表現認識をする場合、EntityRulerがよく使われてきました。EntityRulerはパターンに基づいて固有表現認識をするためのコンポーネントです。統計的なモデルと組み合わせて使うこともできるので、認識性能の向上にも役立ちます。パターンの書き方は、次に示すように、文字列を指定する方法と辞書を指定する方法があります。ラベルに関しては"label"キーで指定します。 # 文字列マッチ
素振りの記：BERT-CRFで固有表現認識したい！『大規模言語モデル入門』6章でクイックツアー - nikkie-ftnextの日記
はじめに 無敵級ビリーバー3周年👑👑👑 nikkieです。 「お休みの日にしかできないことを」と追求した結果、最近のお休みは開発合宿感があります。 今回は気になっていた技術、BERT-CRFを触りました。 目次 はじめに 目次 ずっと引っかかっていたBERT-CRF 『大規模言語モデル入門』6章「固有表現認識」 BERT-CRFクイックツアーの感想 書籍への感想 サンプルコードへの感想 終わりに ずっと引っかかっていたBERT-CRF BERT-CRFという技術は固有表現認識でなかなかよいと聞いていました1。 ただずっと「具体的にどう実装すればいいの？」というところがよく分かりませんでした。 2018年に登場した機械学習モデルBERT2。 Transformer3というアーキテクチャを使って組み上げられたこのモデルは、1つのモデルで複数の自然言語処理タスクが解けるということで注目を集
はじめに こんにちは。 戦略技術センター (STC) の梁です。 ラベル付け対象のデータ量を減らす技術であるActive Learningに取り組んでいます。 Active Learningは様々なタスクに使われています。今回は固有表現認識の文脈で研究成果を共有します。内容としては、以下のとおりです。 Active Learningに関する背景紹介 固有表現認識におけるActive Learningの課題 予備実験で課題を検証 提案指標の紹介 提案指標の検証実験 背景 機械学習プロジェクトの中、モデルを学習するため、ラベル付きデータを用意しなければなりません。ラベル付きデータはテキストや音声、画像などのデータにタグを付けることで生成されます。この作業はアノテーション作業と言えます。 しかし、アノテーションにかけるコストが大きいという課題があります。 そこで、学習効果の高いデータを抽出してア
アノテートされたデータがないドメインで固有表現認識！？
3つの要点 ✔️ 弱教師あり学習の手法でラベリングされたデータセットがないドメインでの固有表現認識 ✔️ 複数のラベリング関数と隠れマルコフモデルによる、ドメイン外のデータセットのラベリング ✔️ 2つのデータセットで従来のドメイン外の固有表現認識のモデルから7%の性能向上 Named Entity Recognition without Labelled Data: A Weak Supervision Approach written by Pierre Lison,Aliaksandr Hubin,Jeremy Barnes,Samia Touileb (Submitted on 30 Apr 2020) Comments: Published by ACL 2020 Subjects: Computation and Language (cs.CL); Machine Learni
はじめに 大規模言語モデル（LLM）の開発において、事前学習とファインチューニングは不可欠なプロセスです。これらのステップにより、LLMは新しい知識を効率的に習得し、より高度なタスクに対応できるようになります。 LLMの知識習得の効果を評価する方法の一つは、特定の知識を必要とする問題を解かせてみることです。さらに、LLMが情報をどのように理解しているかは、固有表現認識で明らかにできます。 本記事では、固有表現認識を中心に解説してきます。 固有表現認識(NER)とは 固有表現認識（NER）は、テキスト内の特定の情報（人名、地名、組織名など）である固有表現を自動的に識別し、カテゴリーに分類する技術です。 固有表現は、(1)MUCの定義(2)IREXの定義(3)拡張固有表現階層の定義など様々な定義があります。 以下でそれぞれについて解説していきます。 MUC まずは最もシンプルなMUCの定義を述
SOTAを獲得した言語モデルLukeを触ってみた(python, transformers, 固有表現認識) - Qiita
SOTAを獲得した言語モデルLukeを触ってみた(python, transformers, 固有表現認識)自然言語処理Transformer固有表現認識Luke こんにちにゃんです。 水色桜（みずいろさくら）です。 今回はstudio ousia社の開発したLUKE (Language Understanding with Knowledge-based Embeddings) を触ってみようと思います。 Luke Lukeは新しい事前学習済み言語モデルであり、studio ousia社の論文で発表されました。Lukeは深い文脈化がなされたエンティティ表現であり、エンティティ認識self-attentionが使われています。（エンティティ：固有表現）２０２２年１０月２７日に日本語バージョンのLukeが無償公開されました。本記事では英語バージョンのLukeを用います（日本語バージョンは上手
はじめに OCR（Optical Character Recognition/Reader：光学的文字認識）とは文字を光学的に認識する技術です。簡単にいえば、画像内にある文字を「文字」としてコンピュータに認識させる技術のことをいいます。主に紙ベースの文書をコンピュータ上で処理したいときなどに使われます。近年では精度も大幅に向上し、スマートフォンのアプリケーションなどでも簡単に使えるようになったため、一度は使ったことがあるという人も多いのではないでしょうか。 一方で、NER（Named Entity Recognition：固有表現認識）とは、NLP（Natural Language Processing：自然言語処理）の一分野で、文章の中から地名、商品名、人名などの固有表現を認識する技術です。NERを正しく行えるようになると、文章の意味を正しく把握することができるようになるだけでなく、固有
書いている本も山場を超えたので、ACL 2019の論文をパラパラと見ていたところ、以下の論文を発見。 Distantly Supervised Named Entity Recognition using Positive-Unlabeled Learning この論文がどういう論文なのかというと、辞書と生テキストだけを使って固有表現のモデルを学習させるという論文。この論文の背景として、固有表現認識用のデータを作るのは非常にコストが高いという点がある。固有表現認識は系列ラベリングのタスクとして解かれることが多い。系列ラベリングとして解く場合、アノテーションツールを使って文中の「どこ」から「どこ」までが「どの固有表現タイプ」なのかというラベルを付ける作業をする必要がある。やったことのある人はよく分かると思うが、この作業には非常に時間がかかる。 アノテーションツール"doccano"での固有表
ACL 2017より以下の論文を紹介。 Cross-lingual Name Tagging and Linking for 282 Languages 先日、以下の記事の中で、サブワードを使って固有表現認識を行う際にどのサブワードの分散表現を使うのが良いのか検証した論文を紹介した。今日紹介する論文はその論文の中で引用していた論文。 hironsan.hatenablog.com この論文では、Wikipediaから282言語の固有表現認識用のデータセットを自動作成する手法を提案している。固有表現認識のデータセットを人手で作るのには非常に時間がかかる。そのため、Wikipediaのリンク情報を利用して自動的にデータセットを作成する研究が行われてきた。それらの研究では単言語を対象にしていることが多いが、この研究では多言語を対象にデータセットを作成している。実験は作成したデータセットを使ってW
多言語BERTの多言語転移性能はどのくらいなのか？固有表現認識と品詞タグ付けで示してみた。 - Ahogrammer
ってことで、ACL 2019より以下の論文を紹介。著者のサイトにスライドが公開されていたのでそちらも載せておく。 【論文】How Multilingual is Multilingual BERT? 【スライド】How Multilingual is Multilingual BERT? 多言語BERTは言語間の転移で優秀な性能を発揮するが、それがなぜなのかを固有表現認識と品詞タグ付けで検証した論文。具体的には、以下の4つの質問に答えることを目指している。 転移は語彙の重なりに依存するか？ → NO 転移は類型学的類似性に依存するか？ → YES 複数言語が混在してたり音訳されている場合に転移できるか？ → 混在はOK。 翻訳は似たベクトルになるか → YES 検証方法として、BERTをある言語に対してファインチューニングして、別の言語でテストするということを行っている。タスクとしては、品
ACL 2019より以下の論文を紹介。こういう系列ラベリングのやり方もあるか、と思った一本。 Label-Agnostic Sequence Labeling by Copying Nearest Neighbors この論文では、入力文中のトークンをラベルの付いたデータベース中のトークンに対して近傍検索を行うことで系列ラベリングを行う手法を提案している。一般的な系列ラベリングを解く手法と異なり、検索によって系列ラベリングを行うのが面白いところ。実験は品詞タグ付けと固有表現認識に対して行い、まずまずの性能と高いzero-shot learning性能を示した。 この論文で提案する手法では、系列ラベリングを検索によって行う。入力系列を、予測をとする。そのとき、データベースから個の文と対応する出力系列のペアを検索する。その情報を基に、番目の入力のラベルを予測する。以下に品詞タグ付けのイメージを
カスタム NER は、Azure AI Language で提供されているカスタム機能の 1 つです。 これは、機械学習インテリジェンスを適用してカスタム固有表現認識タスク用のカスタム モデルを構築できるようにする、クラウドベースの API サービスです。 カスタム NER を使用すると、ユーザーはカスタム AI モデルを作成して、コントラクトや財務ドキュメントなどの非構造化テキストからドメイン固有のエンティティを抽出できます。 開発者は、カスタムの NER プロジェクトを作成することによって、データのラベル付けを繰り返し行うことができ、モデル パフォーマンスをトレーニング、評価、および改善してから、利用できるようにすることができます。 ラベル付けされたデータの品質は、モデルのパフォーマンスに大きく影響します。 モデルの構築とカスタマイズを簡単にするために、サービスには、Language
名前付き固有表現認識による消費者体験の向上
これはちょっとした難問です。今日のデジタル時代では、データがビジネスの世界を動かしています。つまり、企業は大量のデータを必要としているのです。しかし、データはそのままの状態ではほとんど役に立ちません。しかし、収集したデータを最大限に活用するためには、データ管理システムが必要です。 自然言語処理（NLP）技術を満載したツールボックス は、機械学習の力を活用し、データに潜むさまざまなインサイトを抽出することを支援します。 このような自然言語処理技術の中でも、特に有用なのが固有表現認識（NER：Named Entity Recognition）技術である。NERは、単純な自然言語処理技術とは異なり、教師あり学習モデルである。NERモデルを使用する前に、あらかじめ定義された固有表現カテゴリのデータセットでNERモデルを学習させる必要がある。この高度にカスタマイズ可能な学習が、NERの威力を発揮して
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
低リソースかつノイジーなテキストに対する固有表現認識 - Ahogrammer
AWS LambdaにGiNZAを載せて、固有表現認識APIを作成する - Ahogrammer
単語分散表現の信頼性を考慮した固有表現認識 - Ahogrammer
多言語BERTを言語ごとにチューニングして固有表現認識の性能を向上させる - Ahogrammer
単語分散表現の履歴を使って固有表現認識の性能を向上させる - Ahogrammer
固有表現認識にはどのサブワードの分散表現が有効なのか？ - Ahogrammer
spaCyのSpanRulerを使ったルールベースの固有表現認識 - Ahogrammer
自然言語処理のデータ作成に使うActive Learningのサンプリング方法を改善する -固有表現認識編- | Fintan
LLMの知識習得と固有表現認識について - Qiita
OCRに固有表現認識を組み合わせてサービスを進化させる【技術解説】
辞書と生テキストから固有表現認識のモデルを学習させる - Ahogrammer
固有表現認識のデータセットをWikipediaから自動作成する手法 - Ahogrammer
近傍検索によって解く固有表現認識と品詞タグ付け - Ahogrammer
カスタム固有表現認識 - Azure AI サービス - Azure AI services