継続学習＋言語処理の最先端！Compositionalityを用いたSequence-to-Sequenceモデル！
3つの要点 ✔️ 継続学習と言語処理の融合 ✔️ 構文と意味を分離することで破滅的忘却を防止 ✔️ 既存手法と比較し圧倒的な性能 Compositional Language Continual Learning written by Yuanpeng Li Liang Zhao Kenneth Church Mohamed Elhoseiny (Submitted on 26 Sep 2019 (modified: 11 Mar 2020)) Comments: accepted by ICLR 2020 Conference Subjects: Machine Learning (cs.LG); Machine Learning (stat.ML) はじめに 機械学習における課題の一つとして、破滅的忘却(Catastrophic Forgetting)と呼ばれる問題があります。これは、
新聞記事のテキストマイニングによる長期市場動向の分析
In this study, we developed a new method of the long-term market analysis by using text-mining of news articles. Using our method, we conducted extrapolation tests to predict stock price averages by 19 industry and two market averages, TOPIX and Nikkei225 for about 10 years. As a result, 8 sectors in 21 sectors (about 40%) showed over about 60% accuracy, and 15 sectors in 21 sectors (over 70%) sho
Googleが公開した自然言語処理の最新技術、BERTとは何者なのか
3つの要点 ✔️ 自然言語の発展に大いに貢献 ✔️ 学習しなくても前に接続するだけで精度が向上 ✔️ 入出力に新規性 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding written by Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova (Submitted on 11 Oct 2018 (v1), last revised 24 May 2019 (this version, v2)) Comments: Published by NAACL-HLT 2019 Subjects: Computation and Language (cs.CL) はじめに 2019年2月に自然言語処理のトップカンファレンス
（論文）BERTによる日本語構文解析 - 機械学習・自然言語処理の勉強メモ
今日は以下の論文についてまとめます。 BERTによる日本語構文解析の精度向上（柴田ら 2019） 昨年の「言語処理学会」で発表されたものです。 日本語で分かりやすいのですが、整理もかねてまとめます。 BERT自体の解説はググれば分かりやすい説明があります。 また、以前にまとめましたので、詳細は割愛します。 kento1109.hatenablog.com なにがスゴい？ 「BERTを使って既存の構文解析器の精度を大幅に上回った」という点です。 ここでは、既存の構文解析器として「KNP, Cabocha, J.depP」と比較しています。 従来Shift-Reduce 法やチャンキング段階適用により、係り受け関係を特定する手法が知られています。 「SVMを用いた 統計的日本語係り受け解析」の手法では「係り元（A）」と「係り先（B）」の素性を利用して、 「（A)が（B）に係るか」という二値分類
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.jstage.jst.go.jp/article/essfr/6/4/6_285/_pdf