一、RPN for 3D Proposal Generation

就是基于单阶段的网络获取box作为Proposal，文章中使用的是Second网络，其他的如pointpillar、centerpoint都可以作为
CT3D的RPN网络。

二、Proposal-to-point Encoding Module

通过以下两个模块精修RPN输出的proposal：
1、将proposal特征映射到点的特征上（下图左）。
2、通过自注意力编码对proposal内点之间的相对关系进行建模来细化点的特征(下图右)。

2.1、Proposal-to-point Embedding

对于给定的一个proposal，选择ROI区域内的点，ROI区域是一个没有高度限制的圆柱体，然后随机选取ROI范围内的256个点。

• 首先计算采样点和Proposal中心点的相对坐标，$\Delta {\mathbf{p}}_i^c={\mathbf{p}}_i-{\mathbf{p}}^c,\forall {\mathbf{p}}_i\in \mathcal{N}$。
• 然后一个直接的做法是将Proposal的长、宽、高、和旋转角度信息直接拼接到每个点的特征上，即$\left[\Delta {\mathbf{p}}_i^c,l^c,w^c,h^c,{\theta }^c,f_i^r\right]$。由于Transformer 编码器根据这种几何信息重新定向的效果可能较差，所以这种直接基于尺寸和方向的特征表示对于Proposal的优化帮助可能是有限的。
• 通过计算采样点和Proposal八个顶点的相对位置，$\Delta {\mathbf{p}}_i^j={\mathbf{p}}_i-{\mathbf{p}}^j,j=1,\dots ,8$，$p^j$是第$j$个顶点的坐标，这样长、宽、高和角度信息就被重新编码为不同纬度的距离信息。
• 最后将上述信息合并，并经多一个MLP网络上提升特征纬度。
  ${\mathbf{f}}_i=\mathcal{A}\left(\left[\Delta {\mathbf{p}}_i^c,\Delta {\mathbf{p}}_i^1,\dots ,\Delta {\mathbf{p}}_i^8,f_i^r\right]\right)\in {\mathbb{R}}^D$

2.2、Self-attention Encoding

随后将重新编码后的采样点送入多头自注意力层，然后接一个带有残差结构的FFN网络。除了没有位置编码外(在第一步中已经包含了位置信息)，这种自注意力编码机制和NLP中的Transofrmer结构几乎一模一样。encoding具体细节略过。

三、Channel-wise Decoding Module

3.1、Standard Decoding

3.2、Channel-wise Re-weighting

3.3、Channel-wise Decoding Module

四、Detect head and Training Targets

将经过编码-解码模块的输出送入两个FFN网络中，预测得到confidence和相对于输入的Proposal的box残差值。
训练过程中confidence的真值被设置为Proposals和对应的gt的3D IoU值。confidence真值计算公式如下：
$c^t=\min \left(1,\max \left(0,\frac{\mathrm{IoU}-{\alpha }_B}{{\alpha }_F-{\alpha }_B}\right)\right)$

box回归值的真值计算如下：
$$\begin{array}{rl}{x}^t& =\frac{x^g-x^c}{d},y^t=\frac{y^g-y^c}{d},z^t=\frac{z^g-z^c}{h^c},\\ l^t& =\log \left(\frac{l^g}{l^c}\right),w^t=\log \left(\frac{w^g}{w^c}\right),h^t=\log \left(\frac{h^g}{h^c}\right),\\ {\theta }^t& ={\theta }^g-{\theta }^c,\end{array}$$

五、训练losses

CT3D是端到端的训练策略，包括三个损失，分别是RPN损失、confidence损失、box回归损失。

confidence损失用的是二元交叉墒计算。

回归损失使用的是Smooth-L1计算，只有$IoU\ge {\alpha }_R$ 的Proposal才会用来计算回归损失。