事業開発部の @himkt です．好きなニューラルネットは BiLSTM-CRF です． 普段はクックパッドアプリのつくれぽ検索機能の開発チームで自然言語処理をしています． 本稿では，レシピテキストからの料理用語抽出システム nerman について紹介します． nerman の由来は ner (固有表現抽出 = Named Entity Recognition) + man (する太郎) です． クックパッドに投稿されたレシピから料理に関する用語を自動抽出するシステムであり，AllenNLP と Optuna を組み合わせて作られています． （コードについてすべてを説明するのは難しいため，実際のコードを簡略化している箇所があります） 料理用語の自動抽出 料理レシピには様々な料理用語が出現します． 食材や調理器具はもちろん，調理動作や食材の分量なども料理用語とみなせます． 「切る」という調理

■イベント 
：第48回 Machine Learning 15minutes! Broadcast https://machine-learning15minutes.connpass.com/event/185507/ ■登壇概要 タイトル：ニュース配信における固有表現抽出の取り組み 発表者： 
DSOC R&D研究員 高橋 寛治 ▼Twitter https://twitter.com/SansanRandD

自然言語処理技術のなかでも固有表現抽出（Named Entity Recognition; NER）は情報抽出の処理をやろうとするときにとても役立つ。 応用は幅広く、会社名や個人名などの情報抽出処理、個人情報除去などのような抽出した情報に対する処理、代名詞の解析（照応解析・共参照解析）のような文脈解析処理などに用いられる。 最も簡単なNERの方法としては、辞書や形態素解析結果や正規表現などに基づくルールを用いて、単語列にラベリングする方法があるが、会社名など判断が難しいケースについては機械学習によってNERを行うことが有効なことが多い。機械学習ベースの既存の固有表現抽出器を使ってみたい場合には、GiNZAやKNPのようなNERモデルが同梱されているツールを使用してみるのがよい。 しかし公開モデルの性能では満足いかない場合に自分でモデルを構築しようとしても、公開データセットが見つけにくかった

概要 論文や特許文献から材料名，化合物名，そしてそれに紐づく物性値を自動的に取得したり抽出したりしてマイニングしたい．そのようなときに使われるのが，近年ではpythonライブラリのChemDataExtractorに勢いがあります．あまり日本語の解説サイトがないので，メモとして書き残しておきます． ChemDataExtractor（導入編） 今回のテキスト解析はオープンジャーナルのNanomaterialsから，以下の有機ELの青色発光のTADF論文から例文を使います． Nanomaterials 2019, 9(12), 1735; https://doi.org/10.3390/nano9121735 A Novel Design Strategy for Suppressing Efficiency Roll-Off of Blue Thermally Activated Dela

概要 固有表現抽出を行いたかったので、spacyでnerのtrainを行ってみる。 例として既存のginzaのモデルでは「10,000円」はMONEYとして抽出されるけど「\10,000」は認識されない問題を解決するモデルを作成。 バージョン情報 ginza==2.2.0 Python 3.7.4 参考ページ ner（Named Entity Recognition）の学習については下記ページを参考にした。 https://medium.com/@manivannan_data/how-to-train-ner-with-custom-training-data-using-spacy-188e0e508c6 ginzaではtrain_ner.pyというスクリプトが用意されている。 https://github.com/megagonlabs/ginza/blob/develop/ginz

固有表現とは固有表現とは一般的に、明確かつ自己完結的な存在を持つものを指します。犬や木、建物など物理的なものを表す場合もあれば、国や組織、感情などのように概念的なものの場合もあります。言語的に、大部分の名詞は何らかの形態の固有表現とみなすことができます。 固有表現抽出とは固有表現抽出とは、テキストの中から固有表現を見つけて分類する行為です。これは、人名や企業名から時間情報や金額に至るまで、事前に定義されたカテゴリーのシステムを利用して行われます。構造化されていないテキストに構造と意味情報を追加します。これによって、機械学習アルゴリズムがテキスト内の特定の固有表現を識別し、さらには大量のコンテンツを要約することもできるのです。また、これが自然言語処理タスクの重要な前処理ステップになる場合もあります。 顧客サポートの合理化や検索エンジンの最適化など広範囲に活用できる固有表現抽出は、日常的に使用