本稿では、KerasベースのSeq2Seq(Sequence to Sequence)モデルによるチャットボット作成にあたり、Attention機能をBidirectional多層LSTM(Long short-term memory)アーキテクチャに追加実装してみます。 1. はじめに 本稿はSeq2SeqをKerasで構築し、チャットボットの作成を目指す投稿の4回目です。前回の投稿では、Bidirectional多層LSTMのSeq2Seqニューラルネットワークを構築しましたが、今回は、これにAttention機能を追加します。 また、これまでの結果では、生成された応答文の内容が今一つだったので、Early stoppingをやめてとことん訓練したら、どの程度ましになるか確認してみます。 2. 本稿のゴール 以下のとおりです。 Attention付きニューラルネットワークの構築と、訓練