深度学习之神经网络框架搭建及模型优化

神经网络框架搭建及模型优化

目录

  • 神经网络框架搭建及模型优化
    • 1 数据及配置
      • 1.1 配置
      • 1.2 数据
      • 1.3 函数导入
      • 1.4 数据函数
      • 1.5 数据打包
    • 2 神经网络框架搭建
      • 2.1 框架确认
      • 2.2 函数搭建
      • 2.3 框架上传
    • 3 模型优化
      • 3.1 函数理解
      • 3.2 训练模型和测试模型代码
    • 4 最终代码测试
      • 4.1 SGD优化算法
      • 4.2 Adam优化算法
      • 4.3 多次迭代

1 数据及配置

1.1 配置

需要安装PyTorch,下载安装torch、torchvision、torchaudio，GPU需下载cuda版本，CPU可直接下载

cuda版本较大，最后通过控制面板pip install +存储地址离线下载，
CPU版本需再下载安装VC_redist.x64.exe，可下载上述三个后运行，通过报错网址直接下载安装

1.2 数据

使用的是 torchvision.datasets.MNIST的手写数据，包括特征数据和结果类别

1.3 函数导入

import torch
from torch import nn
from torch.utils.data import DataLoader
from torchvision import datasets
from torchvision.transforms import ToTensor

1.4 数据函数

train_data = datasets.MNIST(
    root='data',        # 数据集存储的根目录
    train=True,         # 加载训练集
    download=True,      # 如果数据集不存在，自动下载
    transform=ToTensor() # 将图像转换为张量
)
  • root 指定数据集存储的根目录。如果数据集不存在，会自动下载到这个目录。
  • train 决定加载训练集还是测试集。True 表示加载训练集，False 表示加载测试集。
  • download 如果数据集不在 root 指定的目录中，是否自动下载数据集。True 表示自动下载。
  • transform 对加载的数据进行预处理或转换。通常用于将数据转换为模型所需的格式，如将图像转换为张量。

1.5 数据打包

train_dataloader = DataLoader(train_data, batch_size=64)

  • train_data, 打包数据
  • batch_size=64，打包个数

代码展示：

import torch
print(torch.__version__)
import torch
from torch import nn
from torch.utils.data import DataLoader
from torchvision import datasets
from torchvision.transforms import ToTensor

train_data = datasets.MNIST(
    root = 'data',
    train = True,
    download = True,
    transform = ToTensor()
)
test_data = datasets.MNIST(
    root = 'data',
    train = False,
    download = True,
    transform = ToTensor()
)
print(len(train_data))
print(len(test_data))
from matplotlib import pyplot as plt
figure = plt.figure()
for i in range(9):
    img,label = train_data[i+59000]
    figure.add_subplot(3,3,i+1)
    plt.title(label)
    plt.axis('off')
    plt.imshow(img.squeeze(),cmap='gray')
    a = img.squeeze()
plt.show()

train_dataloader = DataLoader(train_data, batch_size=64)
test_dataloader= DataLoader(test_data, batch_size=64)

运行结果：
在这里插入图片描述

在这里插入图片描述

调试查看:

在这里插入图片描述
：

2 神经网络框架搭建

2.1 框架确认

在搭建神经网络框架前，需先确认建立怎样的框架，目前并没有理论的指导，凭经验建立框架如下：

输入层：输入的图像数据（28*28）个神经元。
中间层1：全连接层，128个神经元，
中间层2：全连接层，256个神经元，
输出层：全连接层，10个神经元，对应10个类别。
需注意，中间层需使用激励函数激活，对累加数进行非线性的映射，以及forward前向传播过程的函数名不可更改，

2.2 函数搭建

  • nn.Flatten() ， 将输入展平为一维向量
  • nn.Linear(28*28, 128) ，全连接层，需注意每个连接层的输入输出需前后对应
  • torch.sigmoid(x)，对中间层的输出应用Sigmoid激活函数
# 定义一个神经网络类，继承自 nn.Module
class NeuralNetwork(nn.Module):
    def __init__(self):
        super().__init__()  # 调用父类 nn.Module 的构造函数

        # 定义网络层
        self.flatten = nn.Flatten()  # 将输入展平为一维向量，适用于将图像数据（如28x28）展平为784维
        self.hidden1 = nn.Linear(28*28, 128)  # 第一个全连接层，输入维度为784（28*28），输出维度为128
        self.hidden2 = nn.Linear(128, 256)    # 第二个全连接层，输入维度为128，输出维度为256
        self.out = nn.Linear(256, 10)         # 输出层，输入维度为256，输出维度为10（对应10个类别）

    # 定义前向传播过程
    def forward(self, x):
        x = self.flatten(x)       # 将输入数据展平
        x = self.hidden1(x)       # 通过第一个全连接层
        x = torch.sigmoid(x)      # 对第一个全连接层的输出应用Sigmoid激活函数
        x = self.hidden2(x)       # 通过第二个全连接层
        x = torch.sigmoid(x)      # 对第二个全连接层的输出应用Sigmoid激活函数
        x = self.out(x)           # 通过输出层
        return x                  # 返回最终的输出

2.3 框架上传

  • device = ‘cuda’ if torch.cuda.is_available() else ‘mps’ if torch.backends.mps.is_available() else ‘cpu’，确认设备， 检查是否有可用的GPU设备，如果有则使用GPU，否则使用CPU
  • model = NeuralNetwork().to(device)，框架上传到GPU/CPU

模型输出展示：

在这里插入图片描述

3 模型优化

3.1 函数理解

  • optimizer = torch.optim.Adam(model.parameters(), lr=0.001)，定义优化器：
    • Adam(）使用Adam优化算法，也可为SGD等优化算法
    • model.parameters()为优化模型的参数，
    • lr为学习率/梯度下降步长为0.001
  • loss_fn = nn.CrossEntropyLoss(pre,y)，定义损失函数，使用交叉熵损失函数，适用于分类任务
    • pre,预测结果
    • y,真实结果
    • loss_fn.item()，当前损失值
  • model.train() ，将模型设置为训练模式，模型参数是可变的
  • x, y = x.to(device), y.to(device)，将数据移动到指定设备（GPU或CPU）
  • 反向传播：清零梯度，计算梯度，更新模型参数
    • optimizer.zero_grad() ，清零梯度缓存
      loss.backward()， 计算梯度
      optimizer.step() ， 更新模型参数
  • model.eval()，将模型设置为评估模式，模型参数是不可变
  • with torch.no_grad()，禁用梯度计算，在测试过程中不需要计算梯度

3.2 训练模型和测试模型代码

optimizer = torch.optim.Adam(model.parameters(),lr=0.001)
loss_fn = nn.CrossEntropyLoss()
def train(dataloader,model,loss_fn,optimizer):
    model.train()
    batch_size_num = 1
    for x,y in dataloader:
        x,y = x.to(device),y.to(device)
        pred = model.forward(x)
        loss = loss_fn(pred,y)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

        loss_value = loss.item()
        if batch_size_num %100 ==0:
            print(f'loss: {loss_value:>7f}  [number: {batch_size_num}]')
        batch_size_num +=1

train(train_dataloader,model,loss_fn,optimizer)

def test(dataloader,model,loss_fn):
    size = len(dataloader.dataset)
    num_batches = len(dataloader)
    model.eval()
    test_loss,correct = 0,0
    with torch.no_grad():
        for x,y in dataloader:
            x,y = x.to(device),y.to(device)
            pred = model.forward(x)
            test_loss += loss_fn(pred,y).item()
            correct +=(pred.argmax(1) == y).type(torch.float).sum().item()
            a = (pred.argmax(1)==y)
            b = (pred.argmax(1)==y).type(torch.float)
    test_loss /=num_batches
    correct /= size

    print(f'test result: \n Accuracy: {(100*correct)}%, Avg loss:{test_loss}')

4 最终代码测试

4.1 SGD优化算法

torch.optim.SGD(model.parameters(),lr=0.01)

代码展示：

import torch

print(torch.__version__)
import torch
from torch import nn
from torch.utils.data import DataLoader
from torchvision import datasets
from torchvision.transforms import ToTensor

train_data = datasets.MNIST(
    root = 'data',
    train = True,
    download = True,
    transform = ToTensor()
)
test_data = datasets.MNIST(
    root = 'data',
    train = False,
    download = True,
    transform = ToTensor()
)
print(len(train_data))
print(len(test_data))
from matplotlib import pyplot as plt
figure = plt.figure()
for i in range(9):
    img,label = train_data[i+59000]
    figure.add_subplot(3,3,i+1)
    plt.title(label)
    plt.axis('off')
    plt.imshow(img.squeeze(),cmap='gray')
    a = img.squeeze()
plt.show()

train_dataloader = DataLoader(train_data, batch_size=64)
test_dataloader= DataLoader(test_data, batch_size=64)
device = 'cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu'
print(f'Using {device} device')
class NeuralNetwork(nn.Module):
    def __init__(self):
        super().__init__()
        self.flatten = nn.Flatten()
        self.hidden1 = nn.Linear(28*28,128)
        self.hidden2 = nn.Linear(128, 256)
        self.out = nn.Linear(256,10)
    def forward(self,x):
        x = self.flatten(x)
        x = self.hidden1(x)
        x = torch.sigmoid(x)
        x = self.hidden2(x)
        x = torch.sigmoid(x)
        x = self.out(x)
        return x
model = NeuralNetwork().to(device)
#
print(model)
optimizer = torch.optim.SGD(model.parameters(),lr=0.01)
loss_fn = nn.CrossEntropyLoss()
def train(dataloader,model,loss_fn,optimizer):
    model.train()
    batch_size_num = 1
    for x,y in dataloader:
        x,y = x.to(device),y.to(device)
        pred = model.forward(x)
        loss = loss_fn(pred,y)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

        loss_value = loss.item()
        if batch_size_num %100 ==0:
            print(f'loss: {loss_value:>7f}  [number: {batch_size_num}]')
        batch_size_num +=1

def test(dataloader,model,loss_fn):
    size = len(dataloader.dataset)
    num_batches = len(dataloader)
    model.eval()
    test_loss,correct = 0,0
    with torch.no_grad():
        for x,y in dataloader:
            x,y = x.to(device),y.to(device)
            pred = model.forward(x)
            test_loss += loss_fn(pred,y).item()
            correct +=(pred.argmax(1) == y).type(torch.float).sum().item()
            a = (pred.argmax(1)==y)
            b = (pred.argmax(1)==y).type(torch.float)
    test_loss /=num_batches
    correct /= size

    print(f'test result: \n Accuracy: {(100*correct)}%, Avg loss:{test_loss}')
#

train(train_dataloader,model,loss_fn,optimizer)
test(test_dataloader,model,loss_fn)

运行结果：
在这里插入图片描述

4.2 Adam优化算法

自适应算法，torch.optim.Adam(model.parameters(),lr=0.01)

运行结果：
在这里插入图片描述

4.3 多次迭代

代码展示：

import torch

print(torch.__version__)
import torch
from torch import nn
from torch.utils.data import DataLoader
from torchvision import datasets
from torchvision.transforms import ToTensor

train_data = datasets.MNIST(
    root = 'data',
    train = True,
    download = True,
    transform = ToTensor()
)
test_data = datasets.MNIST(
    root = 'data',
    train = False,
    download = True,
    transform = ToTensor()
)
print(len(train_data))
print(len(test_data))
from matplotlib import pyplot as plt
figure = plt.figure()
for i in range(9):
    img,label = train_data[i+59000]
    figure.add_subplot(3,3,i+1)
    plt.title(label)
    plt.axis('off')
    plt.imshow(img.squeeze(),cmap='gray')
    a = img.squeeze()
plt.show()

train_dataloader = DataLoader(train_data, batch_size=64)
test_dataloader= DataLoader(test_data, batch_size=64)
device = 'cuda' if torch.cuda.is_available() else 'mps' if torch.backends.mps.is_available() else 'cpu'
print(f'Using {device} device')
class NeuralNetwork(nn.Module):
    def __init__(self):
        super().__init__()
        self.flatten = nn.Flatten()
        self.hidden1 = nn.Linear(28*28,128)
        self.hidden2 = nn.Linear(128, 256)
        self.out = nn.Linear(256,10)
    def forward(self,x):
        x = self.flatten(x)
        x = self.hidden1(x)
        x = torch.sigmoid(x)
        x = self.hidden2(x)
        x = torch.sigmoid(x)
        x = self.out(x)
        return x
model = NeuralNetwork().to(device)
#
print(model)
optimizer = torch.optim.Adam(model.parameters(),lr=0.01)
loss_fn = nn.CrossEntropyLoss()
def train(dataloader,model,loss_fn,optimizer):
    model.train()
    batch_size_num = 1
    for x,y in dataloader:
        x,y = x.to(device),y.to(device)
        pred = model.forward(x)
        loss = loss_fn(pred,y)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

        loss_value = loss.item()
        if batch_size_num %100 ==0:
            print(f'loss: {loss_value:>7f}  [number: {batch_size_num}]')
        batch_size_num +=1

def test(dataloader,model,loss_fn):
    size = len(dataloader.dataset)
    num_batches = len(dataloader)
    model.eval()
    test_loss,correct = 0,0
    with torch.no_grad():
        for x,y in dataloader:
            x,y = x.to(device),y.to(device)
            pred = model.forward(x)
            test_loss += loss_fn(pred,y).item()
            correct +=(pred.argmax(1) == y).type(torch.float).sum().item()
            a = (pred.argmax(1)==y)
            b = (pred.argmax(1)==y).type(torch.float)
    test_loss /=num_batches
    correct /= size

    print(f'test result: \n Accuracy: {(100*correct)}%, Avg loss:{test_loss}')
#

train(train_dataloader,model,loss_fn,optimizer)
test(test_dataloader,model,loss_fn)
#
e = 30
for i in range(e):
    print(f'e: {i+1}\n------------------')
    train(train_dataloader, model, loss_fn, optimizer)
print('done')

test(test_dataloader, model, loss_fn)

运行结果：
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/967662.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【Matlab优化算法-第15期】基于NSGA-II算法的铁路物流园区功能区布局优化

【Matlab优化算法-第15期】基于NSGA-II算法的铁路物流园区功能区布局优化

基于NSGA-II算法的铁路物流园区功能区布局优化 一、前言 铁路物流园区的合理布局对于提高物流效率、降低运营成本具有重要意义。随着铁路物流的快速发展，传统的铁路货场需要升级为综合物流园区，以满足多式联运和综合物流服务的需求。本文将介绍一种基于…
阅读更多...
手写一个C++ Android Binder服务及源码分析

手写一个C++ Android Binder服务及源码分析

手写一个C Android Binder服务及源码分析 前言一、 基于C语言编写Android Binder跨进程通信Demo总结及改进二、C语言编写自己的Binder服务Demo1. binder服务demo功能介绍2. binder服务demo代码结构图3. binder服务demo代码实现3.1 IHelloService.h代码实现3.2 BnHelloService.c…
阅读更多...
WebSocket connection failed 解决

WebSocket connection failed 解决

WebSocket connection failed 解决 前言 这里如果是新手小白不知道 WebSocket 是什么的？ 怎么使用的？或者想深入了解的 那可以 点击这里 几分钟带你快速了解并使用，已经一些进阶讲解； WebSocket，多应用于需要双向数据…
阅读更多...
Python截图轻量化工具

Python截图轻量化工具

一、兼容局限性 这是用Python做的截图工具，不过由于使用了ctypes调用了Windows的API, 同时访问了Windows中"C:/Windows/Cursors/"中的.cur光标样式文件, 这个工具只适用于Windows环境； 如果要提升其跨平台性的话，需要考虑替换cty…
阅读更多...
字节跳动后端一面

字节跳动后端一面

📍1. Gzip压缩技术详解 Gzip是一种流行的无损数据压缩格式，它使用DEFLATE算法来减少文件大小，广泛应用于网络传输和文件存储中以提高效率。 🚀 使用场景： • 网站优化：通过压缩HTML、CSS、JavaScript文件来…
阅读更多...
Visual Studio踩过的坑

Visual Studio踩过的坑

统计Unity项目代码行数 编辑-查找和替换-在文件中查找 查找内容输入 b*[^:b#/].*$ 勾选“使用正则表达式” 文件类型留空 也有网友做了指定，供参考 !*\bin\*;!*\obj\*;!*\.*\*!*.meta;!*.prefab;!*.unity 打开Unity的项目 注意：只是看&#xff0…
阅读更多...
智慧机房解决方案（文末联系，领取整套资料，可做论文）

智慧机房解决方案（文末联系，领取整套资料，可做论文）

智慧机房解决方案-软件部分 一、方案概述 本智慧机房解决方案旨在通过硬件设备与软件系统的深度整合，实现机房的智能化管理与服务，提升机房管理人员的工作效率，优化机房运营效率，确保机房设备的安全稳定运行。软件部分包括机房管…
阅读更多...
ubuntu中如何在vscode的终端目录后显示（当前的git分支名） 实测有用

ubuntu中如何在vscode的终端目录后显示（当前的git分支名） 实测有用

效果展示 配置过程： 在 Ubuntu 中，如果你想在 VS Code 的终端提示符后显示当前的 Git 分支名，可以通过修改 Shell 配置文件（如 ~/.bashrc 或 ~/.zshrc）来实现。以下是具体步骤： 1. 确定使用的 Shell 首…
阅读更多...
【机器学习案列】车辆二氧化碳排放量预测

【机器学习案列】车辆二氧化碳排放量预测

这里是引用 🧑 博主简介：曾任某智慧城市类企业算法总监，目前在美国市场的物流公司从事高级算法工程师一职，深耕人工智能领域，精通python数据挖掘、可视化、机器学习等，发表过AI相关的专利并多次在AI类比赛中…
阅读更多...
SpringCloud - Sentinel服务保护

SpringCloud - Sentinel服务保护

前言 该博客为Sentinel学习笔记，主要目的是为了帮助后期快速复习使用 学习视频：7小快速通关SpringCloud 辅助文档：SpringCloud快速通关 源码地址：cloud-demo 一、简介 官网：https://sentinelguard.io/zh-cn/index.h…
阅读更多...
基于 GEE 利用插值方法填补缺失影像

基于 GEE 利用插值方法填补缺失影像

目录 1 完整代码 2 运行结果 利用GEE合成NDVI时，如果研究区较大，一个月的影像覆盖不了整个研究区，就会有缺失的地方，还有就是去云之后，有云量的地区变成空值。 所以今天来用一种插值的方法来填补缺失的影像&#xf…
阅读更多...
海云安开发者智能助手（D10）全面接入DeepSeek，赋能开发者安全高效编码新范式

海云安开发者智能助手（D10）全面接入DeepSeek，赋能开发者安全高效编码新范式

海云安正式宣布完成与DeepSeek（深度求索）的深度技术融合，旗下核心产品D10开发者智能助手全面接入DeepSeek R1模型。此次合作标志着海云安在"AI驱动开发安全"领域实现重要突破。数据显示，通过DeepSeek R1模型的优化与蒸馏…
阅读更多...
Docker 1. 基础使用

Docker 1. 基础使用

1. Docker Docker 是一个 基于容器的虚拟化技术，它能够将应用及其依赖打包成 轻量级、可移植 的容器，并在不同的环境中运行。 2. Docker指令 （1）查看已有镜像 docker images （2）删除镜像 docker rmi …
阅读更多...
【批量获取图片信息】批量获取图片尺寸、海拔、分辨率、GPS经纬度、面积、位深度、等图片属性里的详细信息，提取出来后导出表格，基于WPF的详细解决方案

【批量获取图片信息】批量获取图片尺寸、海拔、分辨率、GPS经纬度、面积、位深度、等图片属性里的详细信息，提取出来后导出表格，基于WPF的详细解决方案

摄影工作室通常会有大量的图片素材，在进行图片整理和分类时，需要知道每张图片的尺寸、分辨率、GPS 经纬度（如果拍摄时记录了）等信息，以便更好地管理图片资源，比如根据图片尺寸和分辨率决定哪些图片适合用于…
阅读更多...
如何使用C++将处理后的信号保存为PNG和TIFF格式

如何使用C++将处理后的信号保存为PNG和TIFF格式

在信号处理领域，我们常常需要将处理结果以图像的形式保存下来，方便后续分析和展示。C提供了多种库来处理图像数据，本文将介绍如何使用stb_image_write库保存为PNG格式图像以及使用OpenCV库保存为TIFF格式图像。 1. PNG格式保存 使用stb_ima…
阅读更多...
【机器学习】超参数的选择，以kNN算法为例

【机器学习】超参数的选择，以kNN算法为例

分类准确度 一、摘要二、超参数的概念三、调参的方法四、实验搜索超参数五、扩展搜索范围六、考虑距离权重的kNN算法七、距离的计算方法及代码实现八、明可夫斯基距离的应用九、网格搜索超参数 一、摘要 本博文讲解了机器学习中的超参数问题，以K近邻算法为例&#…
阅读更多...
使用PyCharm进行Django项目开发环境搭建

使用PyCharm进行Django项目开发环境搭建

如果在PyCharm中创建Django项目 1. 打开PyCharm，选择新建项目 2.左侧选择Django，并设置项目名称 3.查看项目解释器初始配置 4.新建应用程序 执行以下操作之一： 转到工具| 运行manage.py任务或按CtrlAltR 在打开的manage.pystartapp控制台…
阅读更多...
【python】matplotlib（animation）

【python】matplotlib（animation）

文章目录 1、matplotlib.animation1.1、FuncAnimation1.2、修改 matplotlib 背景 2、matplotlib imageio2.1、折线图2.2、条形图2.3、散点图 3、参考 1、matplotlib.animation 1.1、FuncAnimation matplotlib.animation.FuncAnimation 是 Matplotlib 库中用于创建动画的一个…
阅读更多...
IntelliJ IDEA使用经验（十三）：使用Git克隆github的开源项目

IntelliJ IDEA使用经验（十三）：使用Git克隆github的开源项目

文章目录 问题背景办法1、设置git代理；2、再次克隆项目；3、再次按常规方式进行git克隆即可。 问题背景 由于github在国外，很多时候我们在使用idea克隆开源项目的时候，没办法检出，提示 连接重置。 办法 1、设置git代…
阅读更多...
人工智能学习（七）之神经网络

人工智能学习（七）之神经网络

目录 一、引言 二、经典神经网络回顾 （一）结构与计算过程 （二）局限性 三、循环神经网络（RNN）原理 （一）基本结构 （二）计算过程 （三&#xf…
阅读更多...
最新文章

Copyright @ 2022~2023