pytorch基础语法问题

这里写目录标题

  • pytorch基础语法问题
    • shape
    • torch.ones_like函数和torch.zeros_like函数
    • y.backward(torch.ones_like(x), retain_graph=True)
      • torch.autograd.backward
        • 参数grad_tensors: z.backward(torch.ones_like(x))
        • 来个复杂例子z.backward(torch.Tensor([[1., 0]])
        • 更复杂例子
        • 实际上，也可以通过 求均值 的形式将其转为标量
        • retain_graph=True参数
        • 在每次反向传播求导时，计算的梯度不会自动清零。如果进行多次迭代计算梯度而没有清零，那么梯度会在前一次的基础上叠加。需要使用 Tensor.grad.zero_()将梯度清零。x.grad.data.zero_()
        • 非叶子节点（见上一篇文章）的梯度会默认被释放掉，除非用 retain_grad()函数明确指明保留其梯度。
      • 一些援引
    • 矩阵相乘

pytorch基础语法问题

shape

import torch
# 创建一个形状为(2, 3)的张量
x = torch.Tensor([[1, 2, 3], [4, 5, 6],[1,1,1],[2,2,2]])
print(len(x.shape))
print(x.shape[0])
# 遍历张量中的元素
for i in range(x.shape[0]):
    for j in range(x.shape[1]):
        print(x[i, j])

len(x.shape)，维数，一般为二维
x.shape[0]：行数
x.shape[1]: 列数

2
4
tensor(1.)
tensor(2.)
tensor(3.)
tensor(4.)
tensor(5.)
tensor(6.)
tensor(1.)
tensor(1.)
tensor(1.)
tensor(2.)
tensor(2.)
tensor(2.)

进程已结束,退出代码0

torch.ones_like函数和torch.zeros_like函数

返回一个形状与input相同且值全为1的张量。torch.ones_like(input)相当于torch.ones(input.size, dtype=input.dtype，layout=input.layout，device=input.device)

input = torch.rand(4, 6)
print(input)
# 生成与input形状相同、元素全为1的张量
a = torch.ones_like(input)
print(a)
# 生成与input形状相同、元素全为0的张量
b = torch.zeros_like(input)
print(b)

在这里插入图片描述

z.backward(torch.ones_like(z))

z.backward(torch.ones_like(z))中的torch.ones_like(z)相当于在对z进
行求导时，对z中的元素进行了求和操作，从而将其转为一个标量。

y.backward(torch.ones_like(x), retain_graph=True)

y.backward(torch.ones_like(x), retain_graph=True)
d2l.plot(x.detach(), x.grad, 'x', 'grad of relu', figsize=(5, 2.5))

torch.autograd.backward

x = torch.tensor(1.0, requires_grad=True)
y = torch.tensor(2.0, requires_grad=True)
z = x**2+y
z.backward()
print(z, x.grad, y.grad)

>>> tensor(3., grad_fn=<AddBackward0>) tensor(2.) tensor(1.)

可以z是一个标量，当调用它的backward方法后会根据链式法则自动计算出叶子节点的梯度值。

但是 如果遇到z是一个向量或者是一个矩阵的情况，这个时候又该怎么计算梯度呢？ 这种情况我们需要定义grad_tensor来计算矩阵的梯度。在介绍为什么使用之前我们先看一下源代码中backward的接口是如何定义的：

torch.autograd.backward(
		tensors, 
		grad_tensors=None, 
		retain_graph=None, 
		create_graph=False, 
		grad_variables=None)
  • tensor: 用于计算梯度的tensor。也就是说这两种方式是等价的：- torch.autograd.backward(z) == z.backward()
  • grad_tensors: 在计算矩阵的梯度时会用到。他其实也是一个tensor，shape一般需要和前面的tensor保持一致。
  • retain_graph: 通常在调用一次backward后，pytorch会自动把计算图销毁，所以要想对某个变量重复调用backward，则需要将该参数设置为True
  • create_graph: 当设置为True的时候可以用来计算更高阶的梯度
  • grad_variables: 这个官方说法是grad_variables’ is deprecated. Use - ‘grad_tensors’ instead.也就是说这个参数后面版本中应该会丢弃，直接使用grad_tensors就好了。

好了，参数大致作用都介绍了，下面我们看看pytorch为什么设计了grad_tensors这么一个参数，以及它有什么用呢？

参数grad_tensors: z.backward(torch.ones_like(x))

原则上，Pytorch不支持对张量的求导，即如果z是张量的话，需要先将其转为标量。

浏览了很多博客，给出的解决方案都是说在求导时，加一个torch.ones_like(z)的参数。

torch.ones_like(z)的作用。简而言之，torch.ones_like(z)相当于在对z进行求导时，对z中的元素进行求和操作，从而将其转为一个标量，便于后续的求导。

x = torch.ones(2,requires_grad=True)
z = x + 2
z.backward()

>>> ...
RuntimeError: grad can be implicitly created only for scalar outputs

在这里插入图片描述

本质要得到 z对x求导， 但是已知的是X，Z ；一个矩阵对另一个矩阵求导，才能得到 每个z_partial 对x_partial的导数
其实，可以让sum(z_partial) 对于X求导，对xi 求偏导，就可以得到对应的z_partial
对x_partial的导数，，因为sum(z_partial) 对xi 求偏导，只有包含xi 的那一项在求导，其余与xi 无关的项
对xi求导为0

我们再仔细想想，对z求和不就是等价于z点乘一个一样维度的全为1的矩阵吗？即 [公式]
,而这个I也就是我们需要传入的grad_tensors参数。(点乘只是相对于一维向量而言的，对于矩阵或更高为的张量，可以看做是对每一个维度做点乘)

import torch

x = torch.ones(2,3,requires_grad=True)
z = 2*x + 2
print(z)
print(z.sum())
# print(z.*torch.ones_like(x))
z.sum().backward()#或者z.backward(torch.ones_like(x)) 效果一样！
print(x.grad)

'''
tensor([[4., 4., 4.],
        [4., 4., 4.]], grad_fn=<AddBackward0>)
tensor(24., grad_fn=<SumBackward0>)
tensor([[2., 2., 2.],
        [2., 2., 2.]])
'''
来个复杂例子z.backward(torch.Tensor([[1., 0]])
x = torch.tensor([2., 1.], requires_grad=True).view(1, 2)
y = torch.tensor([[1., 2.], [3., 4.]], requires_grad=True)

z = torch.mm(x, y)
print(f"z:{z}")
z.backward(torch.Tensor([[1., 0]]), retain_graph=True)
print(f"x.grad: {x.grad}")
print(f"y.grad: {y.grad}")

>>> z:tensor([[5., 8.]], grad_fn=<MmBackward>)
x.grad: tensor([[1., 3.]])
y.grad: tensor([[2., 0.],
        [1., 0.]])

在这里插入图片描述
说了这么多，grad_tensors的作用其实可以简单地理解成在求梯度时的权重，因为可能不同值的梯度对结果影响程度不同，所以pytorch弄了个这种接口，而没有固定为全是1。引用自知乎上的一个评论：如果从最后一个节点(总loss)来backward，这种实现(torch.sum(y*w))的意义就具体化为 multiple loss term with difference weights 这种需求了吧
内容来源

看到这里我不由得想，会不会有更复杂的例子呢，万一 输入参数太多多维，导致得到的z不只是一个一维向量，是多维的矩阵，那么就是sum起来或者是点乘一个和z尺寸相同的全1矩阵咯，反正，z是一定是要被处理成一个标量才能进行求导
（原则上，Pytorch不支持对张量的求导，即如果z是张量的话，需要先将其转为标量。）

更复杂例子
import torch

x = torch.tensor(3.,requires_grad=True)
p = torch.ones(2,2,requires_grad=True)

y = x*x
z = 2*y+2*p*p
# [
# [1,1],
# [1,1]
# ]
z.backward(torch.ones_like(z))
# # z = z.sum() # 与下面的torch.sum(z)作用相同，即z中所有元素的和。
# z = torch.sum(z)
# z.backward()
print(x.grad)
print(p.grad)
# print(y.grad) # backward()无法对非叶子节点求导

# 知识点汇总：
# 原则上，Pytorch不支持对张量的求导，即如果z是张量的话，需要先将其转为标量。
# 就这个例子来说，z.backward(torch.ones_like(z))中的torch.ones_like(z)相当于在对z进行求导时，对z中的元素进行了求和操作，从而将其转为一个标量。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

pp,张量相乘，对应位置的元素相乘，torch.mul()和 ，广播机制
z = 2y+2p*p，张量相加，广播机制，y这个标量被生生广播 扩维了，
当 z.sum().backward(),求和再对x求导，这个导数就大了不少（广播机制之后再求和，计算过程中标量y维数扩大了四倍，导致z对y的导数也扩大了四倍，夸大了，不合适

这么大，对x求导不太公正啊

实际上，也可以通过 求均值 的形式将其转为标量
z = z.mean() # z中所有元素的均值
z.backward()

在这里插入图片描述
该部分来自于此处

retain_graph=True参数

当我们计算梯度时，PyTorch会自动根据计算图反向传播梯度来更新模型参数。但是，当我们的计算图比较复杂，或者需要多次反向传播时，我们可能需要使用retain_graph参数来保存计算图。

retain_graph表示在进行反向传播计算梯度的时候，是否保留计算图。如果设置为True，则计算图将被保留，可以在之后的操作中进行多次反向传播计算。如果为False，则计算图将被清空。这是为了释放内存并防止不必要的计算。

pytorch进行一次backward之后，各个节点的值会清除，这样进行第二次backward会报错，因为虽然计算节点数值保存了，但是计算图结构被释放了，如果加上retain_graph==True后,可以再来一次backward。

import torch

# 定义张量
x = torch.ones(2, 2, requires_grad=True)
y = x + 2
z = y * y * 3
out = z.mean()
print(x.grad)
# print(y) 全3矩阵
# print(z) #全27矩阵
# 计算梯度
out.backward(retain_graph=True)
print(x.grad)
# 再次计算梯度
z.backward(torch.ones_like(z))
print(x.grad)


None
tensor([[4.5000, 4.5000],
        [4.5000, 4.5000]])
tensor([[22.5000, 22.5000],
        [22.5000, 22.5000]])

在这里插入图片描述
在这里插入图片描述

z对x求导，在x为全1矩阵之处应该是18，但你会发现代码运行结果是22.5，很没有厘头，其实是因为 梯度累加
如何解决呢

x.grad.data.zero_()
在每次反向传播求导时，计算的梯度不会自动清零。如果进行多次迭代计算梯度而没有清零，那么梯度会在前一次的基础上叠加。需要使用 Tensor.grad.zero_()将梯度清零。x.grad.data.zero_()
import torch

# 定义张量
x = torch.ones(2, 2, requires_grad=True)
y = x + 2
z = y * y * 3
out = z.mean()
print(x.grad)
# print(y) 全3矩阵
# print(z) #全27矩阵
# 计算梯度
out.backward(retain_graph=True)
print(x.grad)
x.grad.data.zero_()
# 再次计算梯度
z.backward(torch.ones_like(z))
print(x.grad)


None
tensor([[4.5000, 4.5000],
        [4.5000, 4.5000]])
tensor([[18., 18.],
        [18., 18.]])

再来个例子

import torch

w = torch.tensor([1.], requires_grad=True)
x = torch.tensor([2.], requires_grad=True)
# y=(x+w)*(w+1)
a = torch.add(w, x)
b = torch.add(w, 1)
y = torch.mul(a, b)

# 反向传播求导数
# torch.autograd.backward(y)
y.backward(retain_graph=True)
print("w's grad: {}\\nx's grad: {}".format(w.grad, x.grad))
# print("a's grad: {}".format(a.grad))

# 清零梯度
# w.grad.zero_()
# x.grad.zero_()

# 第二次求导
y.backward()
print("w's grad: {}\\nx's grad: {}".format(w.grad, x.grad))

输出结果：

w's grad1: tensor([5.])
x's grad1: tensor([2.])
w's grad2: tensor([10.])
x's grad2: tensor([4.])

可以，如果注释掉 grad.zero() 相关的代码，那么第二次计算得到的导数就叠加到了第一次结果之上。

非叶子节点（见上一篇文章）的梯度会默认被释放掉，除非用 retain_grad()函数明确指明保留其梯度。
print("a's grad: {}".format(a.grad))

输出结果：

a’s grad: None
如这里如果我们输出非叶子节点 的梯度，显示为 None。

此段来自：backward（）函数注意事项

一些援引

待看
pytorch中retain_graph==True的作用说明（详细例子+踩坑说明）

在这里插入图片描述
本来有个问题，啥叫释放，怎么释放，只要最后一次一次backward不设置retain_graph==True，就算释放
在这里插入图片描述
以上是这篇的意思
梯度会叠加，我看到有代码 在循环里面使用backward，也没用 retain_graph==True,计算树没被释放？还有，想必需要用到梯度叠加？

矩阵相乘

pytorch中的矩阵乘法操作（总结的好！简明精要
pytorch中的矩阵乘法操作：
torch.mm()
- 只适合于二维张量的矩阵乘法
- m x n, n x p -> m x p
torch.bmm()
- 只适合于三维张量的矩阵乘法，与torch.mm类似，但多了一个batch_size维度。
- b x m x n, b x n x p -> b x m x p

torch.mul()和*

  • ⭐ torch.mul()和*等价。
  • 张量对应位置元素相乘。
  • 将输入张量input的每个元素与另一个向量or标量other相乘，返回一个新的张量out，两者维度需满足广播规则

torch.dot()
向量点积：两向量对应位置相乘然后全部相加。只能支持两个一维向量。
torch.mv(), @, torch.matmul()

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/129153.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

供暖系统如何实现数据远程采集？贝锐蒲公英高效实现智慧运维

供暖系统如何实现数据远程采集？贝锐蒲公英高效实现智慧运维

山西某企业专注于暖通领域&#xff0c;坚持为城市集中供热行业和楼宇中央空调行业提供全面、专业的“智慧冷暖”解决方案。基于我国供热行业的管理现状&#xff0c;企业成功研发并推出了可将能源供应、管理与信息化、自动化相融合的ICS-DH供热节能管理系统。 但是&#xff0c;由…
阅读更多...
【CMU 15-445】Proj1 Buffer Pool Manager

【CMU 15-445】Proj1 Buffer Pool Manager

Buffer Pool Manager 通关记录Task1 LRU-K Replacement PolicyTask2 Disk SchedulerTask3 Buffer Pool ManagerFlushPageFlushAllPagesUnpinPageNewPageFetchPageDeletePage Optimizations CMU-15445汇总 本文对应的project版本为CMU-Fall-2023的project1 由于Andy要求&#xf…
阅读更多...
我的AIGC部署实践03

我的AIGC部署实践03

我的AIGC部署实践03 这会是AIGC部署实践的第三回&#xff0c;用免费的GPU部署自己的stable-diffusion下面我们就开始吧。 1.创建项目 创建项目的镜像及数据集如下&#xff1a; 选择完成后点击创建&#xff0c;代码选择暂不上传。 2.初始化开发环境实例 点击最右侧的“开发…
阅读更多...
懵了，面试官问我Redis怎么测，我哪知道！

懵了，面试官问我Redis怎么测，我哪知道！

有些测试朋友来问我&#xff0c;redis要怎么测试&#xff1f;首先我们需要知道&#xff0c;redis是什么&#xff1f;它能做什么&#xff1f; redis是一个key-value类型的高速存储数据库。 redis常被用做&#xff1a;缓存、队列、发布订阅等。 所以&#xff0c;“redis要怎么测试…
阅读更多...
【C/C++笔试练习】内联函数、哪些运算符不能重载、拷贝构造函数、const类型、函数重载、构造函数、空类的大小、井字棋、密码强度等级

【C/C++笔试练习】内联函数、哪些运算符不能重载、拷贝构造函数、const类型、函数重载、构造函数、空类的大小、井字棋、密码强度等级

文章目录 C/C笔试练习选择部分&#xff08;1&#xff09;内联函数&#xff08;2&#xff09;哪些运算符不能重载&#xff08;3&#xff09;拷贝构造函数&#xff08;4&#xff09;const类型&#xff08;5&#xff09;函数重载&#xff08;6&#xff09;构造函数&#xff08;7&a…
阅读更多...
云数据安全：在数字时代保护您的宝贵资产

云数据安全：在数字时代保护您的宝贵资产

在数字化时代&#xff0c;云计算已经成为企业和个人数据存储和处理的主要方式。然而&#xff0c;与之相伴而来的是日益严峻的数据安全挑战。本文将探讨云数据安全的重要性以及如何在云环境中保护您的数据。 一、云计算的崭新时代 云计算为组织提供了无与伦比的灵活性和效率&…
阅读更多...
Elasticsearch 作为 GenAI 缓存层

Elasticsearch 作为 GenAI 缓存层

作者&#xff1a;JEFF VESTAL&#xff0c;BAHA AZARMI 探索如何将 Elasticsearch 集成为缓存层&#xff0c;通过降低 token 成本和响应时间来优化生成式 AI 性能&#xff0c;这已通过实际测试和实际实施进行了证明。 随着生成式人工智能 (GenAI) 不断革新从客户服务到数据分析…
阅读更多...
大数据毕业设计选题推荐-智慧消防大数据平台-Hadoop-Spark-Hive

大数据毕业设计选题推荐-智慧消防大数据平台-Hadoop-Spark-Hive

✨作者主页&#xff1a;IT毕设梦工厂✨ 个人简介&#xff1a;曾从事计算机专业培训教学&#xff0c;擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。 ☑文末获取源码☑ 精彩专栏推荐⬇⬇⬇ Java项目 Py…
阅读更多...
迅为iTOP-RK3588开发板多屏同显多屏异显异触

迅为iTOP-RK3588开发板多屏同显多屏异显异触

迅为iTOP-RK3588开发板多屏同显多屏异显异触 iTOP-RK3588开发板采用四核Cortex-A76处理器和Cortex-A55架构&#xff0c;芯片内置VOP控制器&#xff0c;最多可以支持7个屏幕显示&#xff0c;支持HDMI、LVDS、MIPI、EDP四种显示接口的多屏同显、异显和异触&#xff0c;可有效提高…
阅读更多...
如何查看网站的https的数字证书

如何查看网站的https的数字证书

如题 打开Chrome浏览器&#xff0c;之后输入想要抓取https证书的网址&#xff0c;此处以知乎为例点击浏览器地址栏左侧的锁的按钮&#xff0c;如下图 点击“连接是安全的”选项&#xff0c;如下图 点击“证书有效”选项卡&#xff0c;如下图 查看基本信息和详细信息 点击详细信…
阅读更多...
点亮一个灯

点亮一个灯

.text .global _start _start: RCC时钟使能 GPIOE RCC_MP_AHB$ENSETR[4]->1 LDR R0,0x50000a28 LDR R1,[R0] ORR R1,R1,#(0x1<<4) ORR R1,R1,#(0x1<<5) STR R1,[R0]设置PE10为输出模式 GPIOE_MODER[21:20]->01 先清0 LDR R0,0x50006000 LDR R1,[R0] BI…
阅读更多...
Geotrust证书

Geotrust证书

GeoTrust是著名的证书颁发机构DigiCert的品牌。GeoTrustSSL产品在Internet上提供从基本域名验证到扩展验证SSL标准支持的最高级验证的安全性。 GeoTrust OV&#xff08;组织验证&#xff09;证书验证域所有权和组织的存在。在颁发证书之前&#xff0c;会检查该组织在公共数据库…
阅读更多...
商业计划书PPT怎么做？这个AI软件一键在线生成，做PPT再也不求人！

商业计划书PPT怎么做？这个AI软件一键在线生成，做PPT再也不求人！

商业计划书是一份重要的书面文件&#xff0c;它通常被用作商业估值、筹资和进一步扩大业务的基础。一个好的商业计划书能够让团队向投资者、潜在客户和业务合作伙伴展示其企业的价值&#xff0c;并且清楚地阐述企业的产品或服务能够如何满足市场需求。作为商业计划书的重要组成…
阅读更多...
Java 数据结构篇-实现双链表的核心API

Java 数据结构篇-实现双链表的核心API

&#x1f525;博客主页&#xff1a; 小扳_-CSDN博客 ❤感谢大家点赞&#x1f44d;收藏⭐评论✍ 文章目录 1.0 双链表的说明 1.1 双链表 - 创建 1.2 双链表 - 根据索引查找节点 1.3 双链表 - 根据索引插入节点 1.4 双链表 - 头插节点 1.5 双链表 - 尾插 1.6 双链表 - 根据索引来…
阅读更多...
时间序列预测(1) — 时间序列预测研究综述

时间序列预测(1) — 时间序列预测研究综述

目录 1 什么是时间序列预测? 2 时间序列预测的应用场景与分类 3 时间序列数据的特性 4 时序预测评价指标 5 基于深度学习的时间序列预测方法 5.1 卷积神经网络 5.2 循环神经网络 5.3 Transformer类模型 1 什么是时间序列预测? 时间序列&#xff1a;指对某种事物发展…
阅读更多...
下一代图片格式AVIF，赶紧用起！

下一代图片格式AVIF，赶紧用起！

介绍AVIF图片格式的特点和在Web端显示AVIF格式图片的两种方案。 1 简介 AVIF是一种基于AV1视频编码的新图像格式&#xff0c;相对于JPEG、Wep等图片格式压缩率更高&#xff0c;并且画面细节更好。AVIF通过使用更现代的压缩算法&#xff0c;在相同质量的前提下&#xff0c;AVI…
阅读更多...
对比了10+网盘资源搜索工具，我最终选择了这款爆赞的阿里云盘、百度网盘、夸克网盘资源一站式搜索工具

对比了10+网盘资源搜索工具，我最终选择了这款爆赞的阿里云盘、百度网盘、夸克网盘资源一站式搜索工具

盘友圈&#xff08;https://panyq.com&#xff09;是一个综合性的网盘搜索站&#xff0c;与其他网盘搜索工具相比&#xff0c;它具有多个独特的优点&#xff0c;使其成为用户们首选的平台。 首先&#xff0c;盘友圈汇集了阿里云盘、百度网盘和夸克网盘等主流网盘资源&#xff…
阅读更多...
Git的进阶操作，在idea中部署gie

Git的进阶操作，在idea中部署gie

&#x1f3c5;我是默&#xff0c;一个在CSDN分享笔记的博主。&#x1f4da;&#x1f4da; ​​ &#x1f31f;在这里&#xff0c;我要推荐给大家我的专栏《git》。&#x1f3af;&#x1f3af; &#x1f680;无论你是编程小白&#xff0c;还是有一定基础的程序员&#xff0c;这…
阅读更多...
【Linux网络】手把手实操Linux系统网络服务DHCP

【Linux网络】手把手实操Linux系统网络服务DHCP

目录 一、什么是dhcp 二、详解dhcp的工作原理 三、dhcp的实操 第一步&#xff1a;3台机器的防火墙和安全机制都需要关闭&#xff01;&#xff01;&#xff01; 第二步&#xff1a;Linux下载dhcp软件&#xff0c;并查看配置文件位置 第三步&#xff1a;读配置文件&#xf…
阅读更多...
electron安装报错：Electron failed to install correctly...解决方案

electron安装报错：Electron failed to install correctly...解决方案

问题描述&#xff1a; 按照官方文档在yarn dev时报错&#xff1a; 一般遇到Electron failed to install correctly&#xff0c;please delete node_moules/electron and try installing again这种错误时&#xff0c;就是electron本体没有下载成功 解决方案&#xff1a; 1、…
阅读更多...
最新文章

Copyright @ 2022~2023