情報ボトルネックを超深掘りする話 - なぜ3x3は成功し、7x7は失敗したのか 前回(13日目 auto-encoderで自前のモデルを作る話2)、512x512への解像度拡大で予想外の問題に直面しました。 再構成(Reconstruction)は問題なく動作するのに、FaceSwap(デコーダ交換)が完全に失敗する。損失値は順調に下がっているのに、肝心の目的が達成されない。 その原因は、ボトルネックが3x3から7x7に拡大したことでした。 しかし、なぜボトルネックのサイズが、これほど決定的な影響を与えるのでしょうか? 今回は、この問いに対して、情報理論の観点から厳密な答えを探ります。 ${\tiny \textsf{ここから先は今回、少しややこしい話が続きますができるだけ噛み砕いて説明します。なので少し冗長です、すいません。}}$ ${\tiny \textsf{「つまり」も多いし・・・

