Information-theoretic analysis of generalization capability of learning algorithms

We derive upper bounds on the generalization error of a learning algorithm in terms of the mutual information between its input and output. The bounds provide an information-theoretic understanding of generalization in learning problems, and give theoretical guidelines for striking the right balance between data fit and generalization by controlling the input-output mutual information. We propose

[kenmatsu4]

Information-theoretic analysis of generalization capability of learning algorithms 学習データと学習後モデル間の相互情報量から、汎化性能の上限が求められる。この上限は学習データにも依存して…　https://twitter.com/hillbig/status/936104829960601601

[elu_18]

学習データと学習後モデル間の相互情報量から、汎化性能の上限が求められる。この上限は学習データにも依存しているため、モデルだけに依存するVC次元やラデマッハー複雑度をつかった汎化性能の上限に比べて良い上限