本稿ではニューラルネットワーク,誤差逆伝播法,言語モデル,RNN,LSTM,ニューラル機械翻訳の一連の手法について数理的に解説する. 前編の目次 ニューラルネットワーク 順伝播 (Forwardpropagation) 逆伝播 (Backpropagation) リカレントニューラルネットワーク (RNN) Recurrent Neural Network Language Model (RNNLM) Backpropagation Through Time (BPTT) Long Short-Term Memory (LSTM) Gated Recurrent Unit (GRU) RNN のドロップアウトとバッチ正規化 ニューラル機械翻訳 (NMT) Sequence to Sequence (seq2seq) 注意 (Attention) 双方向エンコーダー・多層LSTM 評価手法
それぞれは以下の通り(ただしTensorFlow 0.12でのみ動作確認): MGU (Minimal Gated Unit) 論文 Minimal gated unit for recurrent neural networks 実装 An implementation for MGU based on TensorFlow. · GitHub S-LSTM (Simplified LSTM) 論文 [1601.02539] Investigating gated recurrent neural networks for speech synthesis 実装 An implementation of Simplified LSTM (S-SLTM) based on TensorFlow. · GitHub SGU (Simple Gated Unit) 論文 Deep Gate R
Sequence classification is a predictive modeling problem where you have some sequence of inputs over space or time, and the task is to predict a category for the sequence. This problem is difficult because the sequences can vary in length, comprise a very large vocabulary of input symbols, and may require the model to learn the long-term context or dependencies between symbols in the input sequenc
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く