Backpropしないニューラルネット入門 (2/2)
1. 概要下記のarXiv論文を紹介します。 Jinshan Zeng, Tim Tsz-Kit Lau, Shaobo Lin, Yuan Yao (2018). Block Coordinate Descent for Deep Learning: Unified Convergence Guarantees.arXiv:1803.00225 現時点では投稿されて間もない論文ですが、個人的には機械学習の論文を読んでいて久々に楽しい気持ちになれました。 論文の提案手法はgradient-free methodと呼ばれる手法の一種なので、本記事はそのあたりのレビューも少し兼ねます。 2. 勾配法の収束条件ニューラルネットの構造をひとつ固定し、その構造を使って表せる関数の全体を $\mathcal{F}$ と書きます。ニューラルネットの学習とは、与えられた損失を最小化する関数を見つけることで
Optimization for Deep Learning Highlights in 2017
Optimization for Deep Learning Highlights in 2017 Different gradient descent optimization algorithms have been proposed in recent years but Adam is still most commonly used. This post discusses the most exciting highlights and most promising recent approaches that may shape the way we will optimize our models in the future. This post discusses the most exciting highlights and most promising direct
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
