word2vec を超えた異空間 - 武蔵野日記

今日は第9回最先端 NLP 勉強会参加のためにリクルート MTL カフェへ。 この勉強会は毎年この時期に開催され、最前線で活躍する人たちがみんなが読みたいと思っている論文を紹介する、という趣旨で開催されている勉強会で、読む前に論文の投票があったりなんだりと、独特のプロセスがある。 自分はというと今年は以下の論文を紹介。 Ding et al. Visualizing and Understanding Neural Machine Translation. ACL 2017. 詳しくは紹介スライドを見てもらえるといいのだが、ニューラル機械翻訳を可視化したいというモチベーションで、ニューラル機械翻訳ではデコード時のアテンションを見ることで少しは見当が付くのだが、それでは全然十分ではないのでもっと細かく見たい、という話（アテンションはアライメントとも違うので、解釈しにくい）。 あとで [twi

[sh19910711]

2017 / "Poincaré Embeddings (NIPS 2017): 言語処理に向いた word embeddings とは何か、という問題に取り組んだ研究 + リーマン多様体上の最適化が必要ではあるが、圧倒的に低次元で高い性能"

[yoshikidz]

英語はwordnetあるの強いよね。。。ちょっと色々試そう。

[mzi]

面白い研究。大きく化けるかも。