基于卷积操作的神经网络在深度学习领域取得了显著的成果,但标准卷积操作存在两个固有缺陷。一方面,卷积操作受限于局部窗口,无法捕捉其他位置的信息,而其采样形状是固定的。另一方面,卷积核的大小固定为k×k,呈固定的正方形形状,而参数数量往往随大小呈平方增长。显然,不同数据集和不同位置的目标形状和大小各异。具有固定采样形状和正方形的卷积核不太适应变化的目标。为了解决上述问题,本文探讨了可变核卷积(AKConv),该方法赋予卷积核任意数量的参数和任意采样形状,为网络开销和性能之间提供更丰富的选择。在AKConv中,我们通过一种新的坐标生成算法定义了任意大小卷积核的初始位置。为了适应目标的变化,我们引入了偏移量来调整每个位置样本的形状。此外,我们通过使用相同大小但具有不同初始采样形状的AKConv来探索神经网络的效果。AKConv通过不规则卷积操作完成了高效的特征提取过程,并为卷积采样形状提供了更多的探索选项。在代表性数据集COCO2017、VOC 7+12和VisDrone-DET2021上进行的目标检测实验充分证明了AKConv的优势。AKConv可作为即插即用的卷积操作,取代卷积操作以提高网络性能。
论文地址:https://arxiv.org/abs/2311.11587
代码地址:https://github.com/CV-ZhangXin/AK