介绍
在 PyTorch 中,Broadcast 是指自动扩展(broadcasting)运算的功能。它允许用户在不同形状的张量之间执行运算,而无需手动将它们的形状改变为相同的大小。当进行运算时,PyTorch 会自动调整张量的形状,使其能够顺利进行运算。
具体来说,如果两个张量的形状不完全相同,但满足一定的条件时,PyTorch 可以使用 Broadcast 功能来进行运算。这两个张量在进行运算时,会自动根据 Broadcast 规则进行大小扩展,使它们的形状变得兼容。这样一来,我们就可以直接对这两个形状不同的张量进行运算,而不需要手动将它们的形状改变为相同的大小。
通过使用 Broadcast 自动扩展功能,我们可以简化代码,并且使得我们能够更方便地进行张量运算。这在深度学习和机器学习中经常用到,特别是在对网络层进行并行计算时。因此,Broadcast 自动扩展是 PyTorch 的一个重要功能,可以帮助我们更高效地进行张量运算。
扩展规则
在讲述扩展规则之前,我们先来讨论一下小维度和大维度。
比如现在我们有一个shape为[4, 3, 14, 14],我们将最前面的4所在的维度称为大维度,将最后面的14称为小维度。之所以这样称也是有理由的,我们将这个数据看成4张彩色图片,4就表示图片的数量,3就表示有3个通道,也就是rgb,第一个14就表示图像的高度,第二个14就表示图像的宽度,我们就可以理解为什么了。
1、broadcasting扩展机制是从小维度进行扩展的。因为我们一般处理图像并不是对图像的数量进行变换,而是对图像的像素值进行变换,而像素值存在最后两个维度。
2、broadcasting扩展机制内部的处理顺序是:
(1)先在维度方面进行扩展,再在size方面进行扩展。
用一张图解释broadcasting扩展机制实现的效果:
用法
下面我们通过一个实际的例子来讲解broadcasting扩展机制到底适用于什么样的情况。
首先,我们定义一个三维的数据[class, strdents, scores],最大维度表示班级,最小维度表示学生的分数,中间维度表示学生的人数,现在我们将该维度数字化为[4, 32, 8]表示总共有4个班级每个班级32名学生,每个学生有8门成绩。
其次,现在我们考虑到今年考试的题目太难了,为了让成绩好看些,我们准备为每个学生加5分,我们应该如何操作呢?
我们明确5分是一个标量或者可以是一个一维张量。我们需要将维度扩展到3维,就变成了[1, 1, 1],再将size进行扩展,就得到了[4, 32, 8],对里面每个值进行赋值为5,就完成了。
下面我们来讲一下什么时候使用broadcasting扩展机制。
第三种情况不适用 ,并且我们可以看到B的shape前面我们都加上了1,1就代表可以扩展到A对应的size。