Input: (1,3,256,64,128)
做downsample 成 : (1,3,8,16,32)
首先有一个 EqualConv3D(3,128,3,3,stride=1,padding=1) 对 input 进行卷积得到:
(1,128,8,16,32)
input channel: 3
output channel: 128
EqualConv3D 就是一个普通的3D CNN, 只是 用到了 equalized learning rate.
然后经过第1个 Spade Block:
将 input 的 Volume (1,3,64,128,256 )进行下采样 (1,3,8,16,32)
actv = self.mlp_shared(segmap) 经过一个3D CNN 改变通道为128 (1,128,8,16,32)
gamma = self.mlp_gamma(actv) 这个3DCNN 预测 gamma (1,128,8,16,32)
beta = self.mlp_beta(actv) 这个3DCNN 预测 beta (1,128,8,16,32)
# apply scale and bias
out = normalized * (1 + gamma) + beta outshape: (1,128,8,16,32)
上面是一个 Spade 的步骤, Spade CNN 的步骤是 Norm ----> Act -----> Conv
上面的 Tensor 经过 Act 之后的 shape (1,128,8,16,32) 然后经过一个卷积成为 (1,64,8,16,32)
经过第一个block 之后, Tensor 变成了 (1,64,8,16,32),通道数减半,然后进行2倍的上采样 (1,64,16,32,64)
经过第2个Block
for i in range(self.block_num):
block = getattr(self, f'spade_block{i}')
x = block(x, input)
x = self.up2x(x)
X 变成(1,32,16,32,64) 进行2倍上采样 (1,32,32,64,128)
经过第3个Block
X 变成(1,16,16,32,64) 进行2倍上采样 (1,16,64,128,256)