時間依存性を考慮したWord Embeddingsのまとめ - Sansan Tech Blog

はじめに こんにちは、DSOC研究開発部の橋本です。最近買ってよかったな、と思ったものは「詰め替えそのまま」です。これはシャンプーやトリートメントの詰め替えをそのままホルダーにかけて使うことができるようになるグッズで、文字通り（比較的安い）詰め替えをそのまま・簡単に使えるようになる点、お風呂の床に詰め替えを置かなくて済むようになる点という2つの点から非常に良いです。気になる人はぜひググって買ってみてください。 詰め替えそのままの話はさておき、今回時間依存性を考慮したword embeddingsの話をします。 時間に依存するword embeddingsの必要性 現在では、word embeddingsはもはや一般的なツールになりつつあると思います。学習済みのword embeddingsを適用して特徴量とし、何かしらの機械学習アルゴリズムにかける、というのもよく行われていると思います。し

[shunk031]

時代とともに単語の意味は変化するが、近年よく使われる埋め込みはこうした通時性を考慮できていない。このあたりの取り組みは個人的に気になっています。Diachronic Word Embeddings [ACL'16] とかもここらへんのトピックかも。

[sh19910711]

"あるクエリに対し当時のどのような単語に近いかというものを示しています。これを見ると、例えばtwitterは昔のblogやchatに近いということを意味しており"