機械学習関連ニュース2016piqcy @icoxfog417 言語モデルのタスクで、CNNでLSTM同等以上の精度を出したという話。畳み込んだ結果をGRUに近い機構で処理し、過去の情報が消失しないようにしている。Google Billion Wordのデータセットでは、LSTMと同等の精度を出す一方計算効率が20倍程度改善された。 twitter.com/Smerity/status… 2017-01-01 13:23:09 Smerity @Smerity Gated Convolutional Networks beat LSTM on LM (WikiText-103 & One Billion LM for single GPU), faster than CuDNN LSTM arxiv.org/abs/1612.08083 pic.twitter.com/UBplrTjEAv 2016-12-26 15
