深度学习之前馈神经网络

1.导入常用工具包

#在终端中输入以下命令就可以安装工具包
pip install numpy
pip install pandas
Pip install matplotlib

注：
numpy是科学计算基础包
pandas能方便处理结构化数据和函数
matplotlib主要用于绘制图表。

#导包的代码：
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

2.导入数据集

2.1.数据集的下载与转换

数据集下载地址：http://yann.lecun.com/exdb/mnist/
在这里插入图片描述
注：下载这四个文件，但由于不是csv的格式，所以我们要将这四个文件转换成csv格式。

import struct 
import numpy as np 
import pandas as pd

#以二进制读取模式。struct.unpack('>IIII', f.read(16))从文件中读取前16个字节，并按照大端字节序解析出魔数、图像数量、行数和列数。
def read_mnist_image(filename):
    with open(filename, 'rb') as f:
        magic_number, num_images, num_rows, num_cols = struct.unpack('>IIII', f.read(16))
        image_data = np.fromfile(f, dtype=np.uint8).reshape(num_images, num_rows * num_cols)
    return image_data

#读取MNIST数据集中的标签数据。与读取图像数据类似，它打开文件，解析魔数和标签数量，然后读取剩余的数据，将其转换为NumPy数组。
def read_mnist_labels(filename):
    with open(filename, 'rb') as f:
        magic_number, num_labels = struct.unpack('>II', f.read(8))
        label_data = np.fromfile(f, dtype=np.uint8)
    return label_data

# 读取图像和标签文件
image_filename = 'train-images.idx3-ubyte'
label_filename = 'train-labels.idx1-ubyte'
images = read_mnist_image(image_filename)
labels = read_mnist_labels(label_filename)

# 将图像和标签合并为一个DataFrame
train_Data = pd.DataFrame(images)
train_Data['label'] = labels

# 保存为CSV文件
train_Data.to_csv('mnist_train.csv', index=False)

# 对测试数据进行相同的操作
image_filename = 't10k-images.idx3-ubyte'
label_filename = 't10k-labels.idx1-ubyte'
images = read_mnist_image(image_filename)
labels = read_mnist_labels(label_filename)
test_Data = pd.DataFrame(images)
test_Data['label'] = labels
test_Data.to_csv('mnist_test.csv', index=False)

数据集图片：
在这里插入图片描述

2.2.数据观察

import pandas as pd
train_Data = pd.read_csv('mnist_train.csv',header = None)
test_Data = pd.read_csv('mnist_test.csv',header = None)
print("Train data:")
train_Data.info()
print("Test data:")
test_Data.info()
#继续观察训练数据前五行
train_Data.head(5)

注：可以发现训练数据中包含60000个数据样本，维度785，包括标签信息与784个特征维度；测试数据中包含10000个样本，维度785，包括标签信息与784个特征维度。
运行结果：
在这里插入图片描述

2.3.读取第一行数据

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
#取第一行数据
x = train_Data.iloc[0]
#标签信息
y = x[0]
#将1*784转换成28*28
img = x[1:].values.reshape(28,28)
#画图
plt.imshow(img)
plt.title('label = ' + str(y))
plt.show()

注：这段代码的主要作用是从训练数据集中取出第一行数据，将其中的图像数据转换为28x28的二维数组，并使用matplotlib库显示这个图像。同时，它还展示了图像对应的标签（即手写数字的类别）。
运行结果：
在这里插入图片描述

2.4.从sklearn中导入数据并观察

from sklearn.datasets import fetch_openml
mnist = fetch_openml('mnist_784', version=1)
mnist.keys()

运行结果：
在这里插入图片描述

2.5.打印维度信息

data, label = mnist["data"], mnist["target"]
print("数据维度:", data.shape)
print("标签为度:", label.shape)

注：这段代码从之前使用fetch_openml函数获取的MNIST数据集字典中提取出图像数据（data）和标签（label），并打印它们的维度信息。

2.6.显示第一幅图像及其对应的标签

x = data.iloc[0]
y = label[0] #从label数组中取出第一个元素，即第一幅图像的标签
img = x.values.reshape(28,28)
plt.imshow(img)
plt.title('label = ' + str(y))
plt.show()

运行结果：
在这里插入图片描述

3.数据预处理

X = train_Data.iloc[:,1:].values#样本数据
y = train_Data.iloc[:,0].values#样本标签
print("数据X中最大值:",X.max())
print("数据X中最小值:",X.min())

运行结果：
在这里插入图片描述

3.1.对X进行归一化处理

#归一化
X = X/255
#此时将数值大小缩小在[0，1]范围内，重现观察数据中的最大、最小值
print("数据X中最大值:",X.max())
print("数据X中最小值:",X.min())

注：这段代码的目的是对数据集X进行归一化处理，并将处理后的数据范围缩放到[0, 1]之间。
运行结果：
在这里插入图片描述

3.2.分类

X_valid, X_train = X[:5000], X[5000:]
y_valid, y_train = y[:5000], y[5000:]

X_test,y_test = test_Data.iloc[:,1:].values/255, test_Data.iloc[:,0].values

注：将数据集分割为训练集、验证集和测试集，并对这些数据集进行归一化处理。

4.前馈全连接神经网络（Sequential模型）

4.1.创建模型

import tensorflow as tf
from tensorflow import keras
model = keras.models.Sequential([
    keras.layers.Flatten(input_shape=[784]),#输入层784个神经元
    keras.layers.Dense(300, activation="relu"),#隐藏层300个神经元
    keras.layers.Dense(100, activation="relu"),#隐藏层100个神经元
    keras.layers.Dense(10, activation="softmax")#输入层10个神经元
])
model.layers[1]
weight_l,bias_l = model.layers[1].get_weights()
print(weight_l.shape)
print(bias_l.shape)

注：通过打印权重和偏置的形状，可以确认模型的第一个隐藏层是否正确地连接到输入层，并且可以了解该层的参数数量。这对于调试和理解模型的结构非常重要。在实际应用中，这些权重和偏置会在模型训练过程中通过反向传播算法自动调整，以最小化预测误差。
运行结果：
在这里插入图片描述

4.2.通过.summary()观察神经网络的整体情况

model.summary()

注：model.summary()是Keras模型的一个方法，它用于打印出模型的概述信息。
运行结果：
在这里插入图片描述

4.3.训练网格

#编译网络
model.compile(loss="sparse_categorical_crossentropy",optimizer="sgd",metrics=["accuracy"])

注：是Keras中的一个重要步骤，它用于编译刚刚创建的神经网络模型。编译过程定义了模型训练时需要使用的损失函数、优化器和评估指标。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
h = model.fit(X_train,y_train,batch_size=32,epochs=30,validation_data=(X_valid,y_valid))

注：epochs=30：训练过程中遍历整个训练数据集的次数。每个时期包含一次完整的训练数据遍历。
运行结果：
在这里插入图片描述

4.4.将Keras的History对象转换为Pandas的DataFrame

pd.DataFrame(h.history)

注：h.history属性是一个字典，其中包含了训练过程中的损失值和评估指标值。
运行结果：
在这里插入图片描述

4.5.绘图

#绘图
pd.DataFrame(h.history).plot(figsize=(8, 5))
plt.grid(True)
plt.gca().set_ylim(0, 1)#set the vertical range to [0-1]
plt.show()

注：
Loss（损失）：损失函数的值越低，表示模型的预测越接近实际值。
Accuracy（准确率）：准确率是指模型正确预测的样本数与总样本数之间的比例。
Val Loss（验证损失）：如果训练损失持续下降，但验证损失开始上升，这可能表明模型出现了过拟合。
Val Accuracy（验证准确率）：用于评估模型的泛化能力，并且是模型性能的一个重要指标。
运行结果：
在这里插入图片描述

4.6.识别准确率

model.evaluate(X_test, y_test, batch_size = 1)

注：使用Keras模型的evaluate方法来评估模型在测试集上的性能。evaluate方法会计算并返回模型在给定测试数据上的损失和评估指标。
运行结果：
在这里插入图片描述

4.7.对样本进行预测

x_sample, y_sample = X_test[11:12], y_test[11]
y_prob = model.predict(x_sample).round(2)
y_prob

img = x_sample.reshape(28,28)
plt.imshow(img)
plt.title('label = ' + str(np.argmax(y_prob)))
plt.show()

注：从测试数据集中选取索引为11的单个样本，并将其特征和标签分别存储在x_sample和y_sample中。这里使用切片[11:12]来确保x_sample是一个二维数组，符合模型的输入要求。
运行结果：
在这里插入图片描述
在这里插入图片描述

5.使用Sequential()方法，对鸢尾花数据集进行分类

5.1划分

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

iris = load_iris()  #鸢尾花数据集

x_train,x_test,y_train,y_test = train_test_split(iris.data,iris.target,test_size=0.2,random_state=23)

X_train,X_valid,y_train,y_valid = train_test_split(x_train,y_train,test_size=0.2,random_state=12)

print(X_valid.shape)
print(X_train.shape)

注：从Scikit-learn的model_selection模块中导入train_test_split函数，用于分割数据集。
运行结果：
在这里插入图片描述

5.2. 构建模型

import tensorflow as tf
from tensorflow import keras

model = keras.models.Sequential([
    keras.layers.Flatten(input_shape=[4]),
    keras.layers.Dense(16,activation='relu'),
    keras.layers.Dense(16,activation='relu'),
    keras.layers.Dense(16,activation='relu'),
    keras.layers.Dense(16,activation='relu'),
    keras.layers.Dense(16,activation='relu'),
    keras.layers.Dense(16,activation='relu'),
    keras.layers.Dense(16,activation='relu'),
    keras.layers.Dense(16,activation='relu'),
    keras.layers.Dense(16,activation='relu'),
    keras.layers.Dense(16,activation='relu'),
    keras.layers.Dropout(rate=0.2),
    keras.layers.Dense(3,activation='softmax'),
])

model.summary()

注：这段代码使用TensorFlow和Keras库创建了一个神经网络模型，用于分类鸢尾花数据集。模型的结构是顺序的，包含了多个全连接层（Dense layers）和一个Dropout层。
运行结果：
在这里插入图片描述

5.3.提高准确率添加方式：keras.layers.Dropout(rate=0.2)

model.layers[1]

注：从之前定义的Keras模型中获取第二个层的对象。在Keras模型中，层是按照它们添加到模型中的顺序存储在一个列表中的，索引从0开始。因此，model.layers[1]将返回模型中第一个隐藏层的对象。

weight_1,bias_1 = model.layers[1].get_weights()

print(weight_1.shape)
print(bias_1.shape)

运行结果：
在这里插入图片描述
注：从之前定义的Keras模型中获取第一个隐藏层的权重和偏置，并打印它们的形状。

model.compile(loss='sparse_categorical_crossentropy',
             optimizer='sgd',metrics=["accuracy"])

h = model.fit(X_train,y_train,batch_size=10,epochs=50,validation_data=(X_valid,y_valid))

注：optimizer=‘sgd’：这是模型训练时使用的优化器。sgd代表随机梯度下降（Stochastic Gradient Descent），它是一种简单的优化算法，用于在训练过程中更新模型的权重。
运行结果：
在这里插入图片描述

pd.DataFrame(h.history)

运行结果：
在这里插入图片描述

pd.DataFrame(h.history).plot(figsize=(8,5))
plt.grid(True)
plt.gca().set_ylim(0,1)
plt.show()

运行结果：
在这里插入图片描述

model.evaluate(x_test,y_test,batch_size = 1)

注：
x_test：测试数据集的特征，通常是NumPy数组或TensorFlow张量。
y_test：测试数据集的标签，与x_test中的每个样本相对应。
batch_size = 1：评估过程中每次前向传播所使用的数据样本数量。
运行结果：

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/612252.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

怎样的跨网软件，可以实现网间数据的安全收发？

怎样的跨网软件，可以实现网间数据的安全收发？

网络隔离已是较为常见的网络安全保护措施，比如防火墙、网闸、VLAN，云桌面虚拟环境等方面进行隔离。像一些科技研发型企业，不仅仅是内外网隔离，甚至还划分办公网、研发网、测试网、生产网等，防止研发资料、设计资料等敏…
阅读更多...
【机器学习300问】85、Adam梯度下降优化算法的原理是什么？

【机器学习300问】85、Adam梯度下降优化算法的原理是什么？

Adam优化算法取了两个算法名称的首字母——Adaptive Moment Estimation的缩写，结合了Momentum算法和RMSprop算法的优点。在Momentum中，会计算前一时刻的梯度，并将其用于当前时刻的梯度更新；而RMSprop会对梯度的大小进行自适应调整…
阅读更多...
二叉树的遍历（前序 中序 后序）

二叉树的遍历（前序 中序 后序）

一、前序遍历 顺序为： 根-->左子树---->右子树 先访问根节点，再递归进入根节点的左子树（通过递归不断往下遍历），直到访问的节点没有左子树，此时递归进入其右子树（通过递归进行相同操作&a…
阅读更多...
vue布局设置——使用 el-drawer 打造个性化 Admin 后台布局设置

vue布局设置——使用 el-drawer 打造个性化 Admin 后台布局设置

在前端开发中，我们常常需要为 admin 后台构建灵活且个性化的布局设置。今天，我要分享的是如何利用 el-drawer 来实现这样一个有趣的功能。 首先，我们来看一下主要的设置参数： 1. theme: 用于定义主题，可以根据需求切换…
阅读更多...
Java入门基础学习笔记15——强制类型转换

Java入门基础学习笔记15——强制类型转换

大范围类型的变量是否可以赋值给小范围类型的变量呢？ IDEA直接报错。直接报错，是提醒你有问题。但是我非常进行类型转换。 非要强行赋值呢？ 强制类型转换，强行将类型范围大的变量，数据赋值给类型范围小的变量。 数据…
阅读更多...
若依生成树表和下拉框选择树表结构（在其他页面使用该下拉框输入）

若依生成树表和下拉框选择树表结构（在其他页面使用该下拉框输入）

1.数据库表设计 生成树结构的主要列是id列和parent_id列，后者指向他的父级 2.来到前端代码生成器页面 导入你刚刚写出该格式的数据库表 3.点击编辑，来到字段 祖籍列表是为了好找到直接父类，不属于代码生成器方法，需要后台编…
阅读更多...
数据挖掘（二）数据预处理

数据挖掘（二）数据预处理

前言 基于国防科技大学 丁兆云老师的《数据挖掘》 数据挖掘 数据挖掘（一）数据类型与统计 2、数据预处理 2.1数据清理 缺失值处理： from sklearn.impute import SimpleImputer# 创建一个SimpleImputer对象，指定缺失值的处理策略…
阅读更多...
day07beef-xss之根据beef-xss获取cookies

day07beef-xss之根据beef-xss获取cookies

1.安装 apt-get update apt-get install beef-xss 若报错运行不了尝试 apt remove ruby apt remove beef-xss apt-get install ruby apt-get install ruby-dev libpcap-dev gem install eventmachine apt-get install beef-xss 2.运行 beef-xss 运行成功会自动弹出浏览框。 攻…
阅读更多...
WM Transaction Code 仓库管理模块事务代码大全

WM Transaction Code 仓库管理模块事务代码大全

1.1 LE-WM 仓库管理 Warehouse Management 仓库管理事务码 描述 LB01 Create Transfer Requirement 创建转储需求 LB02 Change transfer requirement 修改转储需求 LB03 Display Transfer Requirement 显示转储需求 LB10 TRs for Storage Type 按仓储类型的转储请求 …
阅读更多...
一次完整的GC流程

一次完整的GC流程

Java堆中内存区分 Java的堆由新生代（Young Generation）和老年代（Old Generation）组成。新生代存放新分配的对象，老年代存放长期存在的对象。 新生代（Young）由年轻区（Eden&a…
阅读更多...
uniapp开发微信小程序，选择地理位置uni.chooseLocation

uniapp开发微信小程序，选择地理位置uni.chooseLocation

<view click"toCommunity">点击选择位置</view>toCommunity() {const that thisuni.getSetting({success: (res) > {const status res.authSetting// 如果当前设置是&#xff1a;不允许&#xff0c;则需要弹框提醒客户&#xff0c;需要前往设置页面…
阅读更多...
linux开发笔记（buildroot 增加自己的开发板支持文件）

linux开发笔记（buildroot 增加自己的开发板支持文件）

1、该笔记参考了mangopi r3的buildroot。某宝上卖的LC-PI-200S提供的buildroot就是这个。已经上传到我的资源中&#xff0c;可以下载看看。 2、首先在buildroot目录输入make menuconfig打开buildroot配置。 进入build options查看 可以看到第二行就是buildroot配置的保存位置…
阅读更多...
STM32_HAL_RTC_中断实现闹钟

STM32_HAL_RTC_中断实现闹钟

1STM32设置 在STM32Cude中设置RTC//具体设置看先前发的文章 再打开闹钟中断&#xff08;如下图&#xff09; 2代码思路 2.1启动闹钟&#xff08;HAL_RTC_SetAlarm_IT(&hrtc,&sAlarm,FORMAT_BCD)&#xff09; 2.2设置回调函数&#xff08;void HAL_RTC_AlarmAEventC…
阅读更多...
指针（脑图梳理）

指针（脑图梳理）

今天让我们来梳理一下指针都有哪些概念吧 这个脑图是整理的一些指针相关知识的概念&#xff0c;希望对大家有帮助
阅读更多...
uni-app（二）：本地插件使用（Android）

uni-app（二）：本地插件使用（Android）

本地插件使用 项目创建等参考1.下载并引用本地插件2.注意插件配置3.制作自定义基座4.编写调用代码5.运行 项目创建等参考 https://lprosper.blog.csdn.net/article/details/138655526 1.下载并引用本地插件 2.注意插件配置 3.制作自定义基座 4.编写调用代码 <template>…
阅读更多...
leetcode刷题——设计循环链表

leetcode刷题——设计循环链表

题目要求我们设计循环队列&#xff0c;其特点是容量固定&#xff0c;队列循环&#xff0c;如图所示&#xff1a; 这里的队列我们以链表队列举例&#xff0c;对于循环&#xff0c;只需要把尾节点的指针指向头节点。重点是队列的容量固定&#xff1a;如何确定队列是否已满和空&am…
阅读更多...
ExcelVBA取序号与合计之间的数据

ExcelVBA取序号与合计之间的数据

今天有人提出这样一个问题&#xff0c; ExcelVBA取序号与合计之间的数据 数据如下: 分析一下&#xff0c;问题关键&#xff1a; 问题&#xff1a;1.我要在“序号”两字后面开始取数&#xff0c;因为序号是合并的&#xff0c;所以。。。2.我要取合计前面的数据&#xff0c;所以要…
阅读更多...
WebRTC 的核心：RTCPeerConnection

WebRTC 的核心：RTCPeerConnection

WebRTC 的核心&#xff1a;RTCPeerConnection WebRTC 的核心&#xff1a;RTCPeerConnection创建 RTCPeerConnection 对象RTCPeerConnection 与本地音视频数据绑定媒体协商ICE什么是 Candidate&#xff1f;收集 Candidate交换 Candidate尝试连接 SDP 与 Candidate 消息的互换远端…
阅读更多...
【JavaSE】/*初识Java*/

【JavaSE】/*初识Java*/

目录 一、了解 Java 语言 二、Java 语言的重要性 2.1 使用程度 2.2 工作领域 三、Java 语言的特性 四、Java 的基础语法 五、可能遇到的错误 六、第一个 java 程序代码解析 七、Java 注释 八、Java 标识符 九、Java 关键字 一、了解 Java 语言 Java 是由 Sun Micr…
阅读更多...
攻防世界(CTF)~web-supersqli（详细解题思路）

攻防世界(CTF)~web-supersqli（详细解题思路）

题目介绍 题目描述“随便注” 先看一下是否存在注入 判断闭合方式 输入1’ and 11-- -正常回显 输入1and 12-- -无回显,确认是单引号闭合 看一下列数 输入1 order by 2-- - 有回显 输入1 order by 3-- - 报错&#xff0c;由此判断两列 使用union联合注入发现select被过滤了&a…
阅读更多...
最新文章

Copyright @ 2022~2023