はじめに Learning deep representations by mutual information estimation and maximizationを読んだのでメモ.Abstractの最後の1文で"DIM opens new avenues for unsupervised learn- ing of representations and is an important step towards flexible formulations of representation-learning objectives catered towards specific end-goals."といっている非常に力強い論文. 気持ち 現状の表現学習はreconstruction lossを使った自己符号化器で行われるものが多いが,それは入力のデータに依存した目的関数になっている