著者たちによるGitHubにはPoolFormerとして実装されているが、ここでは論文の趣旨を尊重してより抽象的なMetaFormerとして実装し、TokenMixingを変更できるようにしている。 def ChannelMLP(x, mlp_ratio, normalize, drop_path=0.0, prefix='' ): dense_kwargs = { 'kernel_initializer':'he_normal', 'bias_initializer': tf.keras.initializers.RandomNormal(stddev=1e-2), } in_shape = x.shape dim = in_shape[-1] mlp_dim = dim*mlp_ratio shortcut = x # norm x = normalize(x, name = pref