はてなブックマーク

Revisiting Over-smoothing in BERT from the Perspective of Graph

Transcript 最適輸送と⾃然⾔語処理 横井 祥 (東北⼤学） 2022-03-14, ⾔語処理学会 第28回年次⼤会 チュートリアル 増補改訂版 ⾃⼰紹介 2 • 横井 祥 − http://www.cl.ecei.tohoku.ac.jp/~yokoi/ 🕒 略歴 − B: 京都⼤学 ⼯学部 情報学科 (⿅島 久嗣 先⽣) 機械学習 − M, D, 現: 東北⼤学 情報科学研究科 (乾 健太郎 先⽣) ⾃然⾔語処理 − 共同研究・アドバイザ業など気軽にお声掛けください 📝 最近の研究の興味 − ⾔語の “意味” が 埋込空間の “形状” にどのように反映されるのか – ⻑さ [EMNLPʼ20, ICLRʼ21]，混ざり具合 [EMNLPʼ20, EMNLPʼ21]， 集積 [TACLʼ21]，🚚 輸送 🚚 [EMNLPʼ20]，… ݴޠॲཧֶձ ୈ��ճ೥࣍େձ νϡʔ

Revisiting Over-smoothing in BERT from the Perspective of Graph

2021-09-16, 第13回最先端NLP勉強会 https://sites.google.com/view/snlp-jp/home/2021 Menon et al., Long-tail learning via logit adjustment (ICLR 2021) の論文紹介です https://openreview.net/forum?id=37nvvqkCo5

最適輸送の使い方 〜最適輸送の直感的理解のための単語埋込入門 兼 最適輸送入門〜 【これは何？】 自然言語処理を中心に多くの利用例を挙げながら、最適輸送の直感的な理解を目指すスライドです。 「こんな風に使うことができるんだ… 面白い道具じゃん」「こういう使い方をしたかったらこういうキーワードで調べれば良いのね」と知識にアンカーを張ることが目的です。より深く知りたい人のための参考文献もできるだけ潤沢に加えました。 また、例として頻繁に活用する自然言語処理に馴染みがないかたのために、最初に単語埋め込みのチュートリアルをつけてあります。 【コンテンツ】 1. 単語埋込入門 … 「分布仮説に基づく単語埋込の学習」というパラダイムとその限界について述べます。（このセクションは独立に読めます） 2. 最適輸送入門 … もっとも標準的な定式化である Monge–Kantorovich の問題を概観します

An Effectiveness Metric for Ordinal Classification: Formal Properties and Experimental Results 2020-09-25, 第12回最先端NLP勉強会 https://sites.google.com/view/snlp-jp/home/2020 Amigo et al., An Effectiveness Metric for Ordinal Classification: Formal Properties and Experimental Results (ACL 2020) の論文紹介です https://www.aclweb.org/anthology/2020.acl-main.363/

知らない用語の調べ方〜「Googleの外側」を活用するための3つのTips〜 2017-10-05, 東北大学乾研究室, 研究Tips

Poincaré Embeddings for Learning Hierarchical Representations