各種パラメータ最適化手法の実装（SGD, Momentum, AdaGrad, Adam） - Tech Blog by Akanuma Hiroaki

今回は「ゼロから作るDeepLearning」で紹介されている各種パラメータ最適化手法を、書籍のPythonのサンプルコードをベースに、Rubyで実装してみました。 www.oreilly.co.jp 各手法のロジックについては書籍で説明されていますので割愛します。また、前回の記事で書いたように、Rubyでは値の受け渡しが参照の値渡しになるので、パラメータのハッシュの各値は配列として保持する前提です。 SGD（確率的勾配降下法） SGDは前回の記事でもすでに使っていたのと同じで、別クラスとして分けただけのものです。 class SGD def initialize(lr: 0.01) @lr = lr end def update(params:, grads:) params.keys.each do |key| params[key][0] -= @lr * grads[key] en