实战核心思想:
训练x(输入),让第一次训练好的,正确的y去和我们想要误导机器去识别的类别的那个y做一个损失函数【loss = torch.mean(y[:, 248])】,不同的是,我们其实希望是一个梯度上升,给图片加噪声,让图片偏离真实的类别越远越好(达到我们期望的误导类别),所以下面的第二次训练过程中,【x = x+grad * lr 】这里是+号,在梯度上升,往梯度增大的方向走。
注:本文是参照的【手撕对抗样本,几行torch代码把云朵变成波斯猫(对抗网络入门必看)-哔哩哔哩】
https://b23.tv/OAFZiZD
代码部分:
import torch
import torchvision
model=torchvision.models.resnet18(pretrained=True)
/Users/chenfangyi/anaconda3/envs/pytorch_env/lib/python3.12/site-packages/torchvision/models/_utils.py:208: UserWarning: The parameter 'pretrained' is deprecated since 0.13 and may be removed in the future, please use 'weights' instead.
warnings.warn(
/Users/chenfangyi/anaconda3/envs/pytorch_env/lib/python3.12/site-packages/torchvision/models/_utils.py:223: UserWarning: Arguments other than a weight enum or `None` for 'weights' are deprecated since 0.13 and may be removed in the future. The current behavior is equivalent to passing `weights=ResNet18_Weights.IMAGENET1K_V1`. You can also use `weights=ResNet18_Weights.DEFAULT` to get the most up-to-date weights.
warnings.warn(msg)
ls img.jpg
img.jpg
from PIL import Image
import numpy as np
x=Image.open('img.jpg')#现在要把它转成tensor
# 将PIL图像转换为NumPy数组
x_np = np.array(x)
# 将NumPy数组转换为PyTorch张量
x_tensor = torch.tensor(x_np)
# 对图像进行归一化,这里假设是RGB图像,范围从0-255,转换到[-1, 1]
x_normalized = x_tensor.float() / 255 - 0.5
x_normalized=x_normalized[:224,:224,:]
# 进行维度置换,从(H, W, C)变为(C, H, W),适用于大多数深度学习模型
x_permuted = x_normalized.permute(2, 0, 1)[None,:,:,:] # 直接在x_normalized上操作并添加batch维度
y = model(x_permuted) # 使用x_permuted作为模型输入
x = x_permuted.clone().detach().requires_grad_(True) # 创建x的副本,允许计算梯度
y.shape
torch.Size([1, 1000])
model(x).argmax() #真正的类别:在bing里面找imagenet class 的463类是什么
tensor(463)
#现在要让它分类不对,识别为小狗(248类)
lr = 1
for i in range(30):
x.requires_grad=True
y=model(x)
loss = torch.mean(y[:, 248])
loss.backward()
grad = x.grad # 直接访问梯度,无需切片操作,因为已经是[C, H, W]格式
with torch.no_grad():
x = x+grad * lr # 更新x的数据部分,保持梯度状态不变
#最小化损失函数。然而,在对抗样本生成场景中,这个过程被“反向”利用,目的是最大化模型的损失,即寻找能够引起模型最大误判的输入变化。这就是为什么通常这类操作会被称为“梯度上升”
model(x).argmax()
tensor(248)
#现在已经错误识别为小狗类248
x=torch.permute(x[0],[1,2,0])
#x=x.numpy()+1
#x=np.clip(x,0,1)
import matplotlib.pyplot as plt
#plt.imshow(x)
plt.imshow(x.numpy())