Character-Aware Neural Language Models

We describe a simple neural language model that relies only on character-level inputs. Predictions are still made at the word-level. Our model employs a convolutional neural network (CNN) and a highway network over characters, whose output is given to a long short-term memory (LSTM) recurrent neural network language model (RNN-LM). On the English Penn Treebank the model is on par with the existing

[KSKSKSKS2]

キャラクターレベルの入力を受け取るCNNで単語のエンベッティング処理を行い言語モデルを生成した手法。2層のLSTMより少ないパラメーターで同等の性能を発揮

[rishida]

文字をCNNに突っ込んだあとでLSTM。いわゆる造語とか短縮語とかにも対応できそう

[kitanokumo]

文字単位CNN→WordにしてRNNした言語モデルとのこと 単語の時点で意味が取れるから未知語や接頭接尾語を把握可能か、また単語レベル以降でも同じ事を繰り返せば節・文単位の意味情報が固定長で得られる？