[B! batch normalization][residual] arxiv_readerのブックマーク

arxiv_reader id:arxiv_reader

batch normalizationとresidualに関するarxiv_readerのブックマーク (17)

ポアンカレ ResNet
arxiv_reader 2023/12/20
この論文では、双曲空間のポアンカレ球モデルで完全に動作するエンドツーエンドの残差ネットワークを紹介します。双曲線学習は最近、視覚的な理解の大きな可能性を示していますが、現在のところ、ディープネットワ

batch normalization

representation

learning

arXiv reaDer

convolutional

arXiv

residual
リンク
スペクトルバッチ正規化: 周波数領域での正規化
arxiv_reader 2023/06/30
正則化は、ディープニューラルネットワークの汎化能力を向上させるために使用される一連の手法です。この論文では、周波数 (スペクトル) ドメインで特徴マップを正規化することで一般化を改善する新しい効

batch normalization

residual

learning

regularization

domain

arXiv reaDer

arXiv

DNN
リンク
ポアンカレ ResNet
arxiv_reader 2023/03/27
この論文では、双曲空間のポアンカレ球モデルで完全に動作するエンドツーエンドの残差ネットワークを紹介します。双曲線学習は最近、視覚的な理解の大きな可能性を示していますが、現在のところ、ディープネットワ

residual

learning

arXiv reaDer

batch normalization

representation

arXiv

convolutional
リンク
バッチ正規化を使用して残留ネットワークでドロップアウトを正しく使用する方法
arxiv_reader 2023/02/14
ディープニューラルネットワークの安定した最適化のために、ドロップアウトやバッチ正規化などの正則化手法がさまざまなタスクで使用されてきました。それにもかかわらず、ドロップアウトを適用する正しい位置が

arXiv

arXiv reaDer

regularization

batch normalization

dataset

pooling

residual
リンク
DCT パーセプトロン層: 畳み込み層の変換ドメインアプローチ
arxiv_reader 2022/11/17
この論文では、残差ニューラルネットワーク (ResNet) の 3×3 Conv2D 層を置き換えるために、DCT パーセプトロンと呼ぶ新しい離散コサイン変換 (DCT) ベースのニューラルネット

arXiv reaDer

arXiv

domain

pooling

batch normalization

classification

convolutional

residual
リンク
動的システムの観点からのレイヤーワイズ共有注意ネットワーク
arxiv_reader 2022/10/31
注意ネットワークは、さまざまな視覚の問題で精度を向上させることに成功しています。以前の研究では、新しい自己注意モジュールの設計に重点が置かれ、モジュールをネットワークの各層に個別に接続する従来のパラダ

augmentation

residual

detection

benchmark

arXiv reaDer

batch normalization

regularization

classification

attention

arXiv
リンク
ResNet ブロックとしてのテンプレートマッチングによる機能埋め込み
arxiv_reader 2022/10/04
畳み込みブロックは局所特徴抽出器として機能し、ニューラルネットワークの成功の鍵となります。ローカルのセマンティック機能の埋め込みをより明示的にするために、最適な一致するカーネルに従って、畳み込みブロ

arXiv reaDer

dataset

arXiv

batch normalization

benchmark

convolutional

classification

embedding

residual
リンク
Easter2.0：手書きテキスト認識のための畳み込みモデルの改善
arxiv_reader 2022/05/31
畳み込みニューラルネットワーク（CNN）は、手書きテキスト認識（HTR）のタスクで有望な結果を示していますが、パフォーマンスの点では、リカレントニューラルネットワーク（RNN）/トランスフォーマーベー

few-shot

residual

RNN

transformer

batch normalization

arXiv

CNN

augmentation

classification

arXiv reaDer
リンク
深い残余ネットワークのバッチ正規化におけるガンマの正則化のガイドライン
arxiv_reader 2022/05/17
ニューラルネットワークの重みのL2正則化は、標準的なトレーニングトリックとして広く使用されています。ただし、バッチ正規化のトレーニング可能なパラメーターであるガンマのL2正則化は、議論の余地のない謎の

batch normalization

arXiv

learning

residual

regularization

transformer

arXiv reaDer
リンク
RepSR：構造の再パラメータ化とバッチ正規化を使用した効率的なVGGスタイルの超解像ネットワークのトレーニング
arxiv_reader 2022/05/12
このホワイトペーパーでは、構造的な再パラメータ化手法を使用して、効率的なVGGスタイルの超解像（SR）ネットワークをトレーニングする方法について説明します。再パラメータ化の一般的なパイプラインは、最初

arXiv reaDer

residual

convolutional

arXiv

super-resolution

batch normalization
リンク
非線形表現学習のダイナミクスとその応用を理解する
arxiv_reader 2022/04/08
世界環境の表現は、人工知能において重要な役割を果たします。画像のピクセル値などの生の感覚表現の空間で直接推論と推論を行うことは、多くの場合非効率的です。表現学習により、生の感覚データから適切な表現を自

arXiv

convolutional

arXiv reaDer

classification

dataset

batch normalization

unsupervised

residual

reasoning

representation learning
リンク
AdaDM：画像の超解像の正規化を有効にする
バッチ正規化（BN）のような正規化は、深層学習で中間層の分布を正規化するマイルストーン手法であり、トレーニングの高速化と一般化の精度の向上を可能にします。ただし、忠実度画像の超解像（SR）では、正規化レイヤーは機能を正規化することで範囲の柔軟性をなくし、最新のSRネットワークから削除されると考えられています。この論文では、この現象を定量的および定性的に研究します。残余特徴の標準偏差は、正規化レイヤーの後で大幅に縮小し、SRネットワークのパフォーマンスが低下することがわかりました。標準偏差は、ピクセル値の変動量を反映しています。変動が小さくなると、ネットワークが解決するためのエッジの識別力が低下します。この問題に対処するために、変調係数が適応的に予測されてピクセル偏差を増幅する適応偏差変調器（AdaDM）を提案します。より良い一般化パフォーマンスのために、提案されたAdaDMを使用して最先端
arxiv_reader 2021/11/30
バッチ正規化（BN）のような正規化は、深層学習で中間層の分布を正規化するマイルストーン手法であり、トレーニングの高速化と一般化の精度の向上を可能にします。ただし、忠実度画像の超解像（SR）では、正規化

arXiv

batch normalization

arXiv reaDer

super-resolution

residual

benchmark

learning

dataset
リンク
ゼロの初期化: ゼロと 1 のみを使用した残留ネットワークの初期化
arxiv_reader 2021/10/26
ディープニューラルネットワークは通常、トレーニング中に安定した信号伝搬を保証するために適切に選択された初期分散を使用して、ランダムな重みで初期化されます。ただし、分散を選択する方法についてのコンセンサ

arXiv reaDer

arXiv

batch normalization

residual

classification

dataset
リンク
非線形表現学習のダイナミクスとその応用を理解する
arxiv_reader 2021/06/29
世界環境の表現は、機械知能において重要な役割を果たします。画像のピクセル値など、生の感覚表現の空間で直接推論と推論を行うことは、多くの場合非効率的です。表現学習により、生の感覚データから適切な表現を自

classification

reasoning

unsupervised

dataset

representation learning

convolutional

arXiv

batch normalization

arXiv reaDer

benchmark
リンク
因数分解された神経層の初期化と正則化
arxiv_reader 2021/05/04
因数分解されたレイヤー（2つ以上の行列の積によってパラメーター化された操作）は、圧縮モデルトレーニング、特定のタイプの知識蒸留、マルチヘッド自己注意アーキテクチャなど、さまざまな深層学習コンテキストで

batch normalization

pruning

residual

arXiv reaDer

knowledge distillation

arXiv

regularization

pre-training

unsupervised

attention
リンク
NVAE：ディープ階層型変分オートエンコーダ
arxiv_reader 2021/01/11
正規化フロー、自己回帰モデル、変分オートエンコーダー（VAE）、および深層エネルギーベースのモデルは、深層生成学習のための競合する尤度ベースのフレームワークの1つです。その中でも、VAEには、高速で扱

batch normalization

autoregressive

convolutional

arXiv

arXiv reaDer

generative

regularization

learning

residual

dataset
リンク
バッチ正規化は、ディープネットワークの恒等関数に向けて残差ブロックをバイアスします
arxiv_reader 2020/12/10
バッチ正規化は、残余ネットワークのトレーニング可能な最大の深さを劇的に増加させます。この利点は、幅広いベンチマークでの深い残余ネットワークの経験的成功にとって重要です。初期化時に、バッチの正規化によ

benchmark

batch normalization

learning

arXiv reaDer

residual

arXiv

bias
リンク
1

お知らせ

もっと読む

公式Twitter

@HatenaBookmark
リリース、障害情報などのサービスのお知らせ
@hatebu
最新の人気エントリーの配信

キーボードショートカット一覧

j次のブックマーク

k前のブックマーク

lあとで読む

eコメント一覧を開く

oページを開く

設定を変更しましたx