
エントリーの編集

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
深層学習/ゼロから作るDeep Learning2 第8章メモ - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
深層学習/ゼロから作るDeep Learning2 第8章メモ - Qiita
1.はじめに 名著、**「ゼロから作るDeep Learning2」**を読んでいます。今回は8章のメモ。 コードの実... 1.はじめに 名著、**「ゼロから作るDeep Learning2」**を読んでいます。今回は8章のメモ。 コードの実行はGithubからコード全体をダウンロードし、ch08の中で jupyter notebook にて行っています。 2.Attention 下記は、Seq2seqモデルにおける、Attentionの概要図です。 Decoderの全ての時刻のLSTMとAffineの間にAttentionを挟みます。そして、Encoderの各時刻の隠れベクトル(hs0〜hs4)をまとめたhsを、全てのAttentionへ入力します。 各Attentionでは、LSTMからの入力とhsの類似度(ベクトル積)を計算し、隠れベクトル(hs0〜hs4)の重要度を確率分布で求めます。そして、隠れベクトルをその確率分布で重み付けし合成したものをAffineへ送ります。 Attentionレイヤ内部の模式