深度学习pytorch——Broadcast自动扩展

介绍

在 PyTorch 中,Broadcast 是指自动扩展(broadcasting)运算的功能。它允许用户在不同形状的张量之间执行运算,而无需手动将它们的形状改变为相同的大小。当进行运算时,PyTorch 会自动调整张量的形状,使其能够顺利进行运算。

具体来说,如果两个张量的形状不完全相同,但满足一定的条件时,PyTorch 可以使用 Broadcast 功能来进行运算。这两个张量在进行运算时,会自动根据 Broadcast 规则进行大小扩展,使它们的形状变得兼容。这样一来,我们就可以直接对这两个形状不同的张量进行运算,而不需要手动将它们的形状改变为相同的大小。

通过使用 Broadcast 自动扩展功能,我们可以简化代码,并且使得我们能够更方便地进行张量运算。这在深度学习和机器学习中经常用到,特别是在对网络层进行并行计算时。因此,Broadcast 自动扩展是 PyTorch 的一个重要功能,可以帮助我们更高效地进行张量运算。

扩展规则

在讲述扩展规则之前,我们先来讨论一下小维度和大维度。

比如现在我们有一个shape为[4, 3, 14, 14],我们将最前面的4所在的维度称为大维度,将最后面的14称为小维度。之所以这样称也是有理由的,我们将这个数据看成4张彩色图片,4就表示图片的数量,3就表示有3个通道,也就是rgb,第一个14就表示图像的高度,第二个14就表示图像的宽度,我们就可以理解为什么了。

1、broadcasting扩展机制是从小维度进行扩展的。因为我们一般处理图像并不是对图像的数量进行变换,而是对图像的像素值进行变换,而像素值存在最后两个维度。

2、broadcasting扩展机制内部的处理顺序是:

(1)先在维度方面进行扩展,再在size方面进行扩展。

用一张图解释broadcasting扩展机制实现的效果:

 用法

下面我们通过一个实际的例子来讲解broadcasting扩展机制到底适用于什么样的情况。

首先,我们定义一个三维的数据[class, strdents, scores],最大维度表示班级,最小维度表示学生的分数,中间维度表示学生的人数,现在我们将该维度数字化为[4, 32, 8]表示总共有4个班级每个班级32名学生,每个学生有8门成绩。

其次,现在我们考虑到今年考试的题目太难了,为了让成绩好看些,我们准备为每个学生加5分,我们应该如何操作呢?

我们明确5分是一个标量或者可以是一个一维张量。我们需要将维度扩展到3维,就变成了[1, 1, 1],再将size进行扩展,就得到了[4, 32, 8],对里面每个值进行赋值为5,就完成了。

下面我们来讲一下什么时候使用broadcasting扩展机制。

第三种情况不适用 ,并且我们可以看到B的shape前面我们都加上了1,1就代表可以扩展到A对应的size。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/465718.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

十八、软考-系统架构设计师笔记-真题解析-2022年真题

软考-系统架构设计师-2022年上午选择题真题 考试时间 8:30 ~ 11:00 150分钟 1.云计算服务体系结构如下图所示,图中①、②、③分别与SaaS、PaaS、IaaS相对应,图中①、②、③应为( )。 A.应用层、基础设施层、平台层 B.应用层、平台层、基础设施层 C.平…

尊嘟假嘟,只需HiFi测序即可获得T2T基因组?

探秘动植物物种进化及遗传多样性的第一步往往是进行基因组测序,基因组从头组装(Genome De novo assembly) 是指从测序数据中重建生物基因组序列的过程。组装一直是生物信息学中的核心问题。 然而,到2019年底完成图这个概念仍然只…

香港公司变更注册地址所需材料及流程全解析

香港公司变更注册地址:所需材料及流程全解析 各位老板好,我是经典世纪胡云帅,随着业务的拓展和发展,香港公司可能需要变更其注册地址。变更注册地址不仅关系到公司的日常运营,还与公司的法律地位和品牌形象息息相关。本…

Grok-1 开源:马斯克旗下xAI公司发布革命性AI模型,开启开源大模型新篇章|3140亿参数

自从埃隆马斯克(Elon Musk)上周(3月11日)在 X 平台上宣布 Grok 将于本周开源的消息后,无数目光便聚焦于此,期待之情溢于言表。继 Meta 旗下的 Llama 2 模型开源之后,开源大模型界便充满了对新技…

Linux查看硬件型号详细信息

1.查看CPU (1)使用cat /proc/cpuinfo或lscpu (2)使用dmidecode -i processor Dmidecode 这款软件允许你在 Linux 系统下获取有关硬件方面的信息。Dmidecode 遵循 SMBIOS/DMI 标准,其输出的信息包括 BIOS、系统、主板、…

【Unity】获取游戏对象或组件的常用方法

前言 在Unity开发过程中,我们经常需要获取组件,那么在Unity里如何获取组件呢? 一、获取游戏对象 1.GameObject.Find GameObject.Find 是通过物体的名称获取对象的 所以会遍历当前整个场景,效率较低 而且只能获取激活状态的物体…

Sentinel篇:线程隔离和熔断降级

书接上回:微服务:Sentinel篇 3. 隔离和降级 限流是一种预防措施,虽然限流可以尽量避免因高并发而引起的服务故障,但服务还会因为其它原因而故障。 而要将这些故障控制在一定范围,避免雪崩,就要靠线程隔离…

作品展示ETL

1、ETL 作业定义、作业导入、控件拖拽、执行、监控、稽核、告警、报告导出、定时设定 欧洲某国电信系统数据割接作业定义中文页面(作业顶层,可切英文,按F1弹当前页面帮助) 涉及文件拆分、文件到mysql、库到库、数据清洗、数据转…

青海200MW光伏项目 35kV开关站图像监控及安全警示系统

一、背景 随着我国新能源产业的快速发展,光伏发电作为清洁能源的重要组成部分,得到了国家政策的大力扶持。青海作为我国光伏资源丰富地区,吸引了众多光伏项目的投资建设。在此背景下,为提高光伏发电项目的运行效率和安全性能&…

数据安全与个人隐私:美国人的焦虑与变化

PrimiHub一款由密码学专家团队打造的开源隐私计算平台,专注于分享数据安全、密码学、联邦学习、同态加密等隐私计算领域的技术和内容。 在这个每一次点击、轻敲或按键都留下数字踪迹的时代,美国人对个人数据安全的焦虑与日俱增。他们感觉对数据的使用几乎…

R语言:microeco:一个用于微生物群落生态学数据挖掘的R包,第四:trans_beta class

trans_beta class:利用trans_beta类可以变换和绘制beta分集的距离矩阵。该类中涉及到beta多样性的分析主要包括排序、群距、聚类和方差分析。我们首先使用PCoA显示排序。 > dataset$cal_betadiv() The result is stored in object$beta_diversity ... > t1 &…

unittest初级了解

unitttest初级了解 单元测试框架测试流程 编写测试用例创建测试类测试用例测试用例执行 单元测试框架 unittest(python自带的),pytest(第三方库) 测试流程 编写测试用例—收集测试用例—执行用例—生成测试结果 编写测试用例 创建测试类 类名称建议以Test开头&…

html系列:按钮被样式图片挡着了,无法点击怎么办

​ 背景 在开发中会遇到一些奇奇怪怪的需求,比如在按钮上要显示一个样式图片,同时还要能不影响按钮的点击使用;这时候,设置好了样式,按钮无法点击怎么办? 在查阅资料的时候找到了解决方案。 解决方案 …

WPF图表库LiveCharts的使用

这个LiveCharts非常考究版本,它有非常多个版本,.net6对应的是LiveChart2 我这里的wpf项目是.net6,所以安装的是这三个,搜索的时候要将按钮“包括愈发行版”打勾 git:https://github.com/beto-rodriguez/LiveCharts2?…

数学建模——蒙特卡洛法

目录 1.介绍2.可以做的题型3.实战3.1求pi的值3.2求定积分x^2 的值 参加了大大小小很多场比赛了,但是都是混子,但还是打算记录一下吧,系统认真过一遍。后续功力深厚,会拓展写的文章,目前是干货,一些背景啥的…

2024 年(第 12 届)“泰迪杯”数据挖掘挑战赛—— C 题:竞赛论文的辅助自动评阅完整思路与源代码分享

一、问题背景 近年来我国各领域各层次学科竞赛百花齐放,层出不穷,学生参与度也越来越高。随着参赛队伍的增 加,评阅论文的工作量急剧增加,这对评阅论文的人力要求也越来越大。因此引入机器辅助评阅成为竞赛主办方的现实需求。 在…

System Verilog的接口、程序块与断言解析

接口、程序块与断言 1 接口 1.1 使用接口简化连接 // 接口 interface arb_if(input bit clk);logic [1:0] grant,request;logic rst; endinterface// 使用了简单接口的仲裁器 module arb (arb_if arbif);...always(posedge arbif.clk or posedge arbif.rst)beginif(arbif.rs…

计算方法实验1:圆形镜面成像问题

Algorithm Description 设 T ( c o s θ , s i n θ ) T(cos\theta,sin\theta) T(cosθ,sinθ),则有 P T Q T ( P x − c o s θ ) 2 s i n 2 θ ( Q x − c o s θ ) 2 ( Q y − s i n θ ) 2 PTQT\sqrt{(P_x-cos\theta)^2sin^2\theta}\sqrt{(Q_x-cos\theta)^2(Q_y-sin…

苹果Apple Watch将有更多新手势,智能穿戴将被赋予Find My功能

根据美国商标和专利局(USPTO)公示的清单,苹果公司获得了一项 Apple Watch 相关技术专利,表明苹果公司正在探索更多的交互手势。 苹果在 watchOS 10.1 更新中,为 Apple Watch 引入了全新的“双指互点两下”手势&#…

智慧公厕对于智慧城市管理的意义

近年来,智慧城市的概念不断被提及,而智慧公厕作为智慧城市管理的重要组成部分,其在监测、管理和养护方面发挥着重要的作用。智慧公厕不仅是城市市容提升的重要保障,还能提升城市环境卫生管理的质量,并有效助力创造清洁…