【強化学習】DeepMind製Experience ReplayライブラリReverbの使い方調査【クライアント編】 - Qiita

英語で投稿したブログ記事の日本語焼き直し 1. はじめに 前回に引き続き、DeepMind製のExperience ReplayライブラリのReberbについて。 今回は、データの入出力操作を指示するクライアント側について、ソースコードを読みながら、READMEにか書かれていない部分まで調査した。 2. Client と TFClient Reverbはサーバー・クライアントモデルを採用しているが、クライアント側のクラスとしては、reverb.Clientとreverb.TFClientの2つがある。 Client が開発初期向けで、TFClientが実際の学習プログラムの中で利用するものという位置づけとのことである。大きな違いは、TFClientはその名のとおり、TensorFlowの計算グラフの中で利用することが意図されている。 両者のAPIや使い方は一貫しておらずややこしかったのが、