MaxPooling2DをConv2Dのみで表現する - Qiita

上記の時、$a>b$で$max(a,b)=a$で、$a\leqq b$で$max(a,b)=b$であることが分かります。 つまり、$max$関数は$relu$関数を利用して表現可能ということです。 さて、MaxPooling2Dを考えるにあたり、pool_size(2,2)として4つの要素から最大値を取り出す作業を考えます。$max(a,b,c,d)$を考えた場合、$relu$関数を利用して下記のように記述可能です。 \begin{align} max(a,b,c,d) &= max(max(a,b), max(c,d))\\ &=max(relu(a-b)+b,relu(c-d)+d)\\ &=relu((relu(a-b)+b)-(relu(c-d)+d))+relu(c-d)+d\\ &=relu(relu(a-b) - relu(c-d) + (b - d)) + relu(c-d