[B! 論文][モデル] p_tanのブックマーク

p_tan id:p_tan

論文とモデルに関するp_tanのブックマーク (3)

論文解説 Attention Is All You Need (Transformer) - ディープラーニングブログ
こんにちは Ryobot (りょぼっと) です．本紙は RNN や CNN を使わず Attention のみ使用したニューラル機械翻訳 Transf ormer を提案している．わずかな訓練で圧倒的な State-of-the-Art を達成し，華麗にタイトル回収した．また注意を非常にシンプルな数式に一般化したうえで，加法注意・内積注意・ソースターゲット注意・自己注意に分類した．このうち自己注意はかなり汎用的かつ強力な手法であり他のあらゆるニューラルネットに転用できる． WMT'14 の BLEU スコアは英仏: 41.0, 英独: 28.4 で第 1 位 Attention Is All You Need [Łukasz Kaiser et al., arXiv, 2017/06] Transf ormer: A Novel Neural Network Architecture f
p_tan 2019/08/30
論文

deep learning

deeplearning

モデル

解説

attention

transformer
リンク
[論文実装_その2] ディープラーニングのネットワークモデルを3次元で可視化してみる - Qiita
1. はじめに前回に引き続きPyTorchを用いたarXiv実装の2回目になります。今回紹介する論文はVISUALIZING THE LOSS LANDSCAPE OF NEURAL NETSになります。扱う内容は前回と同じニューラルネットの可視化です。ただし前回は中間層の可視化でしたが、今回は出力層の可視化です。本論文ではディープラーニングのロス関数を可視化する手法を提案しています。ディープラーニングの学習においては、SGDやAdaGradなどのアルゴリズムを用いてロス関数を最小とするパラメータの探索を行います。凸関数は局所最適化を繰り返すことで大域的最適解が得られますが、非凸関数ではその保障はありません（参照ページ）。そしてディープラーニングのロス関数は一般に凸関数とは限らないため、学習により適切なパラメータが求まる保障はありません。しかし、適切なバッチサイズ・フィルタサイズを
p_tan 2019/08/20
ディープラーニング

モデル

CNN

論文
リンク
畳み込みニューラルネットワークの最新研究動向 (〜2017) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 昨年に引き続きDeep Learningやっていき Advent Calendar 2017の25日目の滑り込み記事で，畳み込みニューラルネットワークの歴史および最新の研究動向についてのサーベイです．2017年12月のPRMU研究会にて発表した，畳み込みニューラルネットワークについてのサーベイをベースに追記を行ったものになります．はじめに畳み込みニューラルネットワーク (Convolutional Neural Networks; CNN) （以降CNN）は，主に画像認識に利用されるニューラルネットワークの一種である．CNNの原型は
p_tan 2017/12/26
CNN

画像認識

モデル

機械学習

deep learning

deeplearning

まとめ

論文

サーベイ
リンク
1