ディープラーニングで作る固有表現認識器 - Ahogrammer
固有表現認識は自然言語処理の基礎技術であり、様々なタスクの要素技術として使われます。たとえば、情報抽出や対話システム、質問応答といった応用システムの中で固有表現認識は使われることがあります。また、関係認識やEntity Linkingといった基礎技術で使われることもあります。 従来の固有表現認識では、言語に特有な特徴や外部知識に依存した手法が使われていました。これらの手法では、特徴を人間が定義することで、高性能な認識を実現していました。ただ、言語依存の特徴を使うため、モデルを新しい言語に対して適用する際のコストが高くなる問題があります。 本記事では、ディープラーニングを使って言語的な特徴や外部知識に依存しない固有表現認識器を作成します。本文は以下の内容で構成されています。 実装するモデルの説明 モデルの実装 モデルの学習 全体のコードは以下のGitHubリポジトリにあります。スターしていた
Neural Architectures for Named Entity Recognition
State-of-the-art named entity recognition systems rely heavily on hand-crafted features and domain-specific knowledge in order to learn effectively from the small, supervised training corpora that are available. In this paper, we introduce two new neural architectures---one based on bidirectional LSTMs and conditional random fields, and the other that constructs and labels segments using a transit
レシピ用語の定義とその自動認識のためのタグ付与コーパスの構築
自然言語処理において，単語認識（形態素解析や品詞推定など）の次に実用化可能な課題は，ある課題において重要な用語の認識であろう．この際の重要な用語は，一般に単語列であり，多くの応用においてそれらに種別がある．一般的な例は，新聞記事における情報抽出を主たる目的とした固有表現であり，人名や組織名，金額などの 7 つか 8 つの種別（固有表現クラス）が定義されている．この重要な用語の定義は，自然言語処理の課題に大きく依存する．我々はこの課題をレシピ（調理手順の文章）に対する用語抽出として，レシピ中に出現する重要な用語を定義し，実際にコーパスに対してアノテーションし，実用的な精度の自動認識器を構築する過程について述べる．その応用として，単純なキーワード照合を超える知的な検索や，映像と言語表現のマッチングによるシンボルグラウンディングを想定している．このような背景の下，本論文では，レシピ用語タグセット
nerman: AllenNLP と Optuna で作る固有表現抽出システム - クックパッド開発者ブログ
事業開発部の @himkt です．好きなニューラルネットは BiLSTM-CRF です． 普段はクックパッドアプリのつくれぽ検索機能の開発チームで自然言語処理をしています． 本稿では，レシピテキストからの料理用語抽出システム nerman について紹介します． nerman の由来は ner (固有表現抽出 = Named Entity Recognition) + man (する太郎) です． クックパッドに投稿されたレシピから料理に関する用語を自動抽出するシステムであり，AllenNLP と Optuna を組み合わせて作られています． （コードについてすべてを説明するのは難しいため，実際のコードを簡略化している箇所があります） 料理用語の自動抽出 料理レシピには様々な料理用語が出現します． 食材や調理器具はもちろん，調理動作や食材の分量なども料理用語とみなせます． 「切る」という調理
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Flair | Zalando Research
GitHub - cs230-stanford/cs230-code-examples: Code examples in pyTorch and Tensorflow for CS230
