**前置知识：
1、
self.sigmoid1=Sigmoid()
output=self.sigmoid1(input)
2、常见的非线性激活函数：
3、非线性激活的作用：
线性与非线性
-
线性函数：假设你用直线去描述波浪的形状。无论你怎么改变直线的斜率，结果都是一条直线，这样你就无法捕捉到波浪的起伏。这就像在神经网络中，如果只有线性激活函数，模型只能学习到线性关系，无法处理复杂的模式。
-
非线性激活函数：现在，想象你可以用曲线来描绘波浪。这条曲线能够随着波浪的起伏而变化，能够很好地展现出波浪的复杂形状。这就类似于引入了非线性激活函数（比如ReLU或Sigmoid）。通过这些激活函数，神经网络能够捕捉到复杂的特征和关系，比如图像中的边缘、纹理，或语音中的音调变化。
实际应用
举个实际例子，想象你在开发一个猫和狗的图像识别系统：
-
没有非线性激活函数：你的模型只能识别简单的形状，比如直线和方形，它无法区分猫和狗，因为它无法理解它们的复杂特征。
-
有非线性激活函数：引入非线性后，模型可以学习到猫的尖耳朵、圆眼睛和狗的扁鼻子等复杂特征。这使得模型能够更准确地识别猫和狗。
（即使用非线性激活，能在神经网络中引入非线性特征）
**代码：
input 导入并加载图像数据集——>nn 创建神经元——>output 计算并输出
（非线性激活是对矩阵里的数一个数一个数地进行转换；而池化里是用池化窗口来分块，一块一块地进行计算）
import torch
import torchvision
from torch import nn
from torch.nn import ReLU, Sigmoid
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter
test_set=torchvision.datasets.CIFAR10(root="./dataset",train=False,transform=torchvision.transforms.ToTensor(),download=True)
dataloader=DataLoader(test_set,batch_size=64)
class Xigua(nn.Module):
def __init__(self):
super().__init__()
self.relu_1=ReLU()
self.sigmoid1=Sigmoid()
def forward(self,input):
output=self.sigmoid1(input)
return output
xigua1=Xigua()
writer=SummaryWriter("logs2")
step=1
for imgs,targets in dataloader:
print(imgs.shape)
writer.add_images("input1",imgs,step)
imgs=xigua1(imgs)
print(imgs.shape)
writer.add_images("output1",imgs,step)
step=step+1
if step>=3:
break
writer.close()
# input=torch.tensor([
# [1,-0.5],
# [-1,3]
# ])
# output=xigua1(input)
# print(output)
