A.Sannai, M.Imaizumi, "Improved Generalization Bound for Permutation Invariant Neural Networks" (arXiv 2019) 置換不変な性質を持つ深層学習について、その高い性能を数学的に解析した論文です。 置換不変な深層学習は、点群や画像セットなどのデータを交換しても性質が変化しないデータについて、高い性能を出すことが経験的に知られています。 本研究は、そのような深層学習の性質を数学的に解析し、その誤差率(汎化誤差)が置換不変でない場合に比べて、置換要素の数の階乗分だけ改善することを示しました。 置換要素の数は、一般的な点群のデータにおいては1,000程度あり、その階乗分の誤差の改善は、非常に大きな理論的誤差の改善になることが期待されます。 原稿 / 共著者:三内研究員(理研)