【機械学習】文章を機械に理解させてみた！〜RNN〜 - Qiita

はじめに 最近『ゼロから作るDeep Learning 2』で自然言語処理の勉強をしていて、備忘を兼ねてRNNについてまとめてみました！ この記事では、Word2Vecの問題点とそれを解決したRNNの仕組みを「本当にゼロから」実装しながら学んだことを、できるだけ丁寧に・分かりやすく紹介するので良かったら見てみてください！！ Word2Vecでは見えない「前の単語」 前回の記事では、Word2Vecを使った「単語の意味ベクトル化」について解説しました。 Word2Vecは「ある単語の周囲（＝コンテキスト）にある単語たち」を使って、意味的な分布を学習する方法で、語彙をベクトル空間上にマッピングする強力な技術でした。 でも、少し問題点があります。 Word2Vecには ある制約 があるのです。 Word2Vecの限界：固定長のコンテキスト Word2Vecでは、たとえば「前後5単語」など 固定長

[misshiki]

“Word2Vecの問題点とそれを解決したRNNの仕組みを「本当にゼロから」実装しながら学んだことを、できるだけ丁寧に・分かりやすく紹介”