小白初探|神经网络与深度学习

一、学习背景

由于工作的原因,需要开展人工智能相关的研究,虽然不用参与实际研发,但在项目实施过程中发现,人工智能的项目和普通程序开发项目不一样,门槛比较高,没有相关基础没法搞清楚人力、财力如何投入,很难合理管控成本以及时间。为搞清楚情况,老年博主决定一步一个脚印,好好自学。在写本文时,博主已学到一定阶段了,趁有时间,通过博文记录下来,以免遗忘。

二、学习准备

常年的学习告诉我们,一门学科要快速入门,主流方式是看网络教学视频,B站上有很多优质视频。但博主还是习惯静静看书,通过CSDN读书频道浏览一并人工智能入门书籍,最后选择了一本合适自己学习习惯的书,书名为《神经网络与深度学习:Python+Keras+TensorFlow》,2019年出版。PS:2023年才学,确实落后了呀🌝。

CSDN书架截图

看书先看目录,结合自己的学习需求,从目录来看,需要重点看的是以下几点:

书的目录结构

第一章:神经网络初体验

这章主要是介绍神经网络应用的案例,改变读者固有的一些思维方式,了解人工智能是怎么运作的,不仅是代码层面,看完还是很有收获的。

第二章&第三章:深度学习中的微积分基础和线性代数基础

第二、三两章非常重要,主要介绍神经网络的数理基础。以前在大学总认为微积分和线性代数和自己没啥关系,看完本章后,感觉这些数理知识学的远远不够,内心默默感叹,数学真是科技进步之本。第二章核心知识点主要是函数求导、间套函数的链式求导法则、多变量函数与偏导数、求函数最小值,第三章的核心知识点主要是矩阵运算、张量

第四章:神经网络的理论基础

本章是本书的核心,主要介绍人工智能的核心算法,包括激活函数、神经网络中的矩阵运算、反向传播算法梯度下降算法,必须认真看懂弄透,不然后面几章估计就无法阅读了。

第五章:用Python从零实现识别手写数字的神经网络

本章主要介绍如何使用Python代码来实现第四章算法,以加深神经网络算法的认识,同时提高动手能力,博主反复把书中代码练习数遍,才逐渐理解其中某些细节和原理。本章的核心内容是使用Python代码构建神经网络框架、使用Python代码实现网络迭代训练功能、使用Pyhon代码识别手写数字图片

第七章:使用神经网络实现机器视觉识别

由于博主想入门的是视觉类识别技术,所以主要看了第七章,往后的章节没有细看。本章逐节揭秘卷积网络的底层原理,核心内容主要包括卷积神经网络应用、预训练卷积神经网络应用、卷积神经网络原理

三、自己完整写完第一份图像识别代码

本书第七章的7.2小节为从零开始构造一个识别猫、狗图片的卷积网络,是一个图像识别入门例子,难度不高,适合博主这种小白一步一步根书敲代码。当然,复刻书中代码的过程是曲折的,运行时经常碰到各种报错,书本也有不少笔误之处。经过反复调试程序和查阅报错相关资料,逐项问题解决后,图像识别程序终于成功运行起来。

接下来,将介绍本小白是如何一步步把程序跑起来的,真是好多坑o(╥﹏╥)o。

第一步:把书中代码直接Copy到IDE尝试运行

这步操作简单,把以下完整代码Copy到IDE,本人用的是Pycharm,点击运行。本文使用的代码经测试可以运行,而且每一步都添加了自己写的备注,可能比原书还清晰。

import os
os.environ["CUDA_VISIBLE_DEVICES"]="0"
# 加载训练数据集和测试数据集
# 1.拼接数据集的地址
base_dir = 'D:\RGZN\第7章\cat-and-dog'
train_cats_dir = os.path.join(base_dir, 'training_set/cats')
train_dogs_dir = os.path.join(base_dir, 'training_set/dogs')
test_cats_dir = os.path.join(base_dir, 'test_set/cats')
test_dogs_dir = os.path.join(base_dir, 'test_set/dogs')
# 2.显示两个数据集中的图片数量
print('total trainning cat images: ', len(os.listdir(train_cats_dir)))
print('total trainning dog images: ', len(os.listdir(train_dogs_dir)))
print('total testing cat images: ', len(os.listdir(test_cats_dir)))
print('total testing dog images: ', len(os.listdir(test_dogs_dir)))

from keras import layers
from keras import models

model = models.Sequential()
# 3.Sequential是用于构建和训练顺序模型
model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(150, 150, 3)))
# 4.32个神经元,卷积核大小为3*3,激活函数为relu
# 5.150px*150px的图片,RGB(255,255,255)彩色像素,所以接入层的格式是(150,150,3)
model.add(layers.MaxPooling2D((2, 2)))
# 6.2D最大池化层,池化窗口大小为(2,2)
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
# 7.64个神经元,卷积核大小为3*3,激活函数为relu
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Flatten())
# 8.将上面网络输出的多维数组压平成一维数组
model.add(layers.Dense(512, activation='relu'))
# 9.512个神经元,全连接,激活函数为relu
model.add(layers.Dense(1, activation="sigmoid"))
# 10.网络只要做出判断,因此最后一层只需要一个神经元,激活函数sigmoid,根据它输出的值是否大于0.5来决定图片是猫还是狗
model.compile(loss='binary_crossentropy', optimizer='rmsprop', metrics=['acc'])
# 11.model.compile()函数被设计为一个编译器,用于将模型的图形结构定义与计算引擎进行链接,以实现优化、损失函数的选择和训练过程的配置
model.summary()

from keras import preprocessing
from keras.utils import image_utils
import numpy as np

# 12.将图片地址加载到程序path_cats和path_dogs中
path_cats = []
for path in os.listdir(train_cats_dir):
    if '.jpg' in path:
        path_cats.append(os.path.join(train_cats_dir, path))
path_dogs = []
for path in os.listdir(train_dogs_dir):
    if '.jpg' in path:
        path_dogs.append(os.path.join(train_dogs_dir, path))
# 13.将图片转换为(150,150)格式的二维数组
training_set = np.zeros((6000, 150, 150, 3), dtype='float32')
# 14.np.zeros() 函数是 NumPy 库中的一个非常基础和广泛使用的函数,它的主要功能是创建一个特定形状和类型的新数组,其中所有元素的初始值都为 0。
train_dog_imgs = 3000
train_cat_imgs = 3000
for i in range(0, train_dog_imgs):
    img = image_utils.load_img(path_dogs[i], target_size=(150, 150))
    # 15.preprocessing,keras的预处理类
    training_set[i] = image_utils.img_to_array(img)
for j in range(0, train_cat_imgs):
    img = image_utils.load_img(path_cats[j], target_size=(150, 150))
    training_set[train_dog_imgs + j] = image_utils.img_to_array(img)
# 16.准备2000张图片作为网络训练校验集
validation_set = np.zeros((2000, 150, 150, 3), dtype='float32')
validation_dog_imgs = 1000
validation_cat_imgs = 1000
# 17.其中用于校验的狗图片1000张,校验猫的图片1000张
for i in range(validation_dog_imgs):
    path = path_dogs[i + train_dog_imgs]
    img = image_utils.load_img(path, target_size=(150, 150))
    validation_set[i] = image_utils.img_to_array(img)
for j in range(validation_cat_imgs):
    path = path_cats[i + train_cat_imgs]
    img = image_utils.load_img(path, target_size=(150, 150))
    validation_set[j + validation_dog_imgs] = image_utils.img_to_array(img)

train_labels = np.zeros((3000,))
# 18.对前面3000张狗图片打标签0
train_labels = np.concatenate((train_labels, np.ones(3000, )))
# 19.对后面3000张猫图片打标签1,并进行合并操作,形成6000张标签
validation_labels = np.zeros((1000,))
# 20.对前面1000只狗的校验图片打标签0
validation_labels = np.concatenate((validation_labels, np.ones(1000, )))
# 21.对后面1000只猫的校验图片打标签1,并进行合并操作,形成2000张标签
train_datagen = preprocessing.image.ImageDataGenerator(rescale=1. / 255)
# 22.将图片像素点转换到[0,1]之间,可以使用keras.preprocessing.image.ImageDataGenerator生成器对数据进行变换和增强
train_generator = train_datagen.flow(training_set, train_labels, batch_size=32)
# 23.根据生成器设置的相关参数,调用flow来执行,batch_size:整数或None。每个梯度更新用到的的样本数量。
validation_generator = train_datagen.flow(validation_set, validation_labels, batch_size=32)

history = model.fit(train_generator, steps_per_epoch=100, epochs=30,
                              validation_steps=50, validation_data=validation_generator)
# 24.启动网络训练,循环训练30次,每次训练从数据生成器中获取100张图片,校验时从生成器中获取50张图片

import matplotlib.pyplot as plt

# 25.获取训练结果,例如训练数据准确率、校验数据准确率等
acc = history.history['acc']
val_acc = history.history['val_acc']
loss = history.history['loss']
val_loss = history.history['val_loss']
epochs = range(1, len(acc) + 1)
# 26.将训练过程中的准确性变化绘制出来
plt.plot(epochs, acc, 'bo', label='Training acc')
plt.plot(epochs, val_acc, 'b', label='Validation acc')
plt.title('Training and validation accuracy')
plt.legend()
plt.figure()
# 27,将训练过程中的损失变化绘制出来
plt.plot(epochs, loss, 'bo', label='Training loss')
plt.plot(epochs, val_loss, 'b', label='Validation loss')
plt.title('Training and validation loss')
plt.legend()
plt.show()

第二步:发现依赖包未导入,根据报错导入相关的包

copy代码后会发现各种包比如keras等未导入,凡提示没有的,使用pip安装导入即可。

第三步:发现数据集没下载,根据书中链接下载

💫第一坑!这里发现原书地址不可用,经过大量网站检索,本小白终于完成数据集下载,但在写本文章时,该书官网貌似出问题了,晕倒_(¦3」∠)_。由于数据集太大,后期再放下载链接。

以下是数据集(cat-and-dog)截图:
在这里插入图片描述

第四步:模型训练

💫第二坑!缺少数据集的问题解决后,程序便可正常运行。谁知,笔记本第十代 intel i7 CPU跑了大半天才出训练结果,遂改GPU试试,结果手提没有英伟达独显,后来又研究外接显卡,终于解决CPU训练太慢的问题。这笔记本电脑雷电3接口外接二手GTX1060显卡跑人工智能深度学习训练模型解决方案够博主另外写一篇长文了,外接显卡方案从购置、安装、调式到运行,前前后后花了约三周时间,这里就不作详细解释了,最后结论是此方案可行,比CPU快几十倍。

若需使用电脑GPU,在程序开头加入以下代码即可。

os.environ["CUDA_VISIBLE_DEVICES"]="0"

除此之外,还有显卡驱动、CUDA、cuDNN等要安装,相关安装教程可参考以下链接。
《在keras中使用gpu加速训练模型》 👈这篇文章教你如何下载和安装相关驱动程序。
《CUDA11.8安装tensorflow2.12找不到GPU问题解决办法》👈这篇文章教你如何保证各种驱动版本一致。

四、模型训练效果

模型训练效果直接上图,效果如下:
在这里插入图片描述
在这里插入图片描述
[1]陈屹. 神经网络与深度学习实战:Python+Keras+TensorFlow[M]. 北京:机械工业出版社,2019.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/363984.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Linux实验记录:使用Apache的虚拟主机功能

前言: 本文是一篇关于Linux系统初学者的实验记录。 参考书籍:《Linux就该这么学》 实验环境: VmwareWorkStation 17——虚拟机软件 RedHatEnterpriseLinux[RHEL]8——红帽操作系统 正文: 目录 前言: 正文&…

每日一道Java面试题:说一说Java中的泛型?

写在开头 今天的每日一道Java面试题聊的是Java中的泛型,泛型在面试的时候偶尔会被提及,频率不是特别高,但在日后的开发工作中,却是是个高频词汇,因此,我们有必要去认真的学习它。 泛型的定义 什么是泛型…

2024年1月的论文推荐

又到月底了,在月初推荐论文的基础上又整理了10篇推荐阅读的论文 1、MosaicBERT https://mosaicbert.github.io/ 一种用于快速预训练的双向编码器。MosaicBERT是针对快速预训练优化的自定义BERT架构。主要架构修改:FlashAttention, ALiBi,门控线性单元…

(八)MySQL事务和SQL优化

事务(Transaction): 是数据库内最小且不可再分的单元。通常一个事务对应一个完整的业务(例如银行账户转账业务,该业务就是一个最小的工作单元)。一个完整的业务由批量的DML语句(INSERT 、UPDATE、DELETE)共…

pinctrl子系统与gpio子系统实验-通过应用程序测试Led驱动程序

一. 简介 前面几篇文章基本完成了 Led驱动代码,前面通过加载驱动模块也测试了 驱动程序。 这里通过运行应用程序,通过应用程序调用 Led驱动程序,从而驱动 打开或者关闭 Led灯。 二. 通过应用程序测试Led驱动程序 1. 驱动代码实现 gpiole…

【Qt】—— 项⽬⽂件解析

目录 (一).pro⽂件解析 (二)widget.h⽂件解析 (三)main.cpp⽂件解析 (四)widget.cpp⽂件解析 (五)widget.ui⽂件解析 (一).pro⽂…

Sg5032can(晶体振荡器spxo)规格书

SG5032CAN是爱普生推出的一款小体积尺寸5.0x3.2mm石英晶体振蒎器,四脚贴片晶振,输出频率范围为4MHz~72MHz,电源电压1.8V ~ 3.3V,支持CMOS输出,具有超小型,轻薄型,高精度,高性能,高品…

(二)hadoop搭建

1. 下载 访问https://hadoop.apache.org/releases.html查看hadoop最新下载地址 wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz 2.解压 tar zxvf hadoop-3.3.4.tar.gz mv hadoop-3.3.4 /usr/local 3.配置环境变量(新建.sh文件&…

【网站项目】066农家乐信息平台

🙊作者简介:拥有多年开发工作经验,分享技术代码帮助学生学习,独立完成自己的项目或者毕业设计。 代码可以私聊博主获取。🌹赠送计算机毕业设计600个选题excel文件,帮助大学选题。赠送开题报告模板&#xff…

面向对象(基础)---面向对象编程概述、Java语言的基本元素:类和对象

学习面向对象内容的三条主线: ①Java类及类的成员:(重点)属性、方法、构造器;(熟悉)代码块、内部类 ②面向对象的特征:封装、继承、多态、(抽象) ③其他关…

stm32--simulink开发之--timer的学习,硬件输入中断,触发事件,STM32通用定时器之输出比较模式与PWM模式(重要理解)

下面三个模块,一个比一个高级,当然使用是越来越简单 STM32F4xx系列控制器有2个高级控制定时器、10个通用定时器和2个基本定时器(推荐学习) 1,第一个模块:Timer 浅层理解:计数,不停的触发 Starts timer co…

Servlet简述

Servlet是动态web资源开发技术,其实就是一个接口,将来定义Servlet实现类时,都必须实现该接口,并让web服务器运行Servlet 1.快速入门 使用注释配置访问路径在Servlet3.0之后应用,在此之前都是使用xml配置文件来配置的。…

零基础怎么学鸿蒙开发?

对于零基础的学习者来说,掌握鸿蒙开发不仅是迈向新技术的第一步,更是开拓职业道路的重要机遇。随着鸿蒙系统在各行各业的应用逐渐扩展,对于掌握这一项技术的开发人员需求也随之增长。下文将为大家提供针对零基础学习鸿蒙开发的逻辑&#xff0…

粒子群优化算法

PSO算法 粒子群算法(Particle,Swarm Optimization,PSO)由Kennedy和Eberhart于1995年提出,算法模仿鸟群觅食行为对优化问题进行求解。 粒子群算法中每个粒子包含位置和速度两个属性,其中,位置代表了待求问题的一个候选…

2024年最强网络安全学习路线,详细到直接上清华的教材!

关键词:网络安全入门、渗透测试学习、零基础学安全、网络安全学习路线 首先咱们聊聊,学习网络安全方向通常会有哪些问题 前排提示:文末有CSDN官方认证Python入门资料包! 1、打基础时间太长 学基础花费很长时间,光语言…

mysql 慢查询调优实战

目录 异常现象:进行复现:寻找原因:解决办法:办法一:指定执行索引办法二:先按二级索引里字段排序,再按id排序办法三:取消排序 最终方案:复盘: 异常现象&#x…

基于springboot+vue的校园赛事资讯网站(前后端分离)

博主主页:猫头鹰源码 博主简介:Java领域优质创作者、CSDN博客专家、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战 主要内容:毕业设计(Javaweb项目|小程序等)、简历模板、学习资料、面试题库、技术咨询 文末联系获取 项目介绍…

搜维尔科技:【简报】元宇宙数字人赛道,优秀作品《星云时报》赏析

AI 对人们来说是一种新产业,而人们对于它未来会面临的议题仍有许多疑虑,因此我们用新闻报导的方式列举一些有趣且具有可能性的标题,希望能让 大家了解 AI 在未来可能会带来什么问题,以及我们应该采取的态度。 学校: 新…

C++(17)——list的模拟实现

前面的文章中,介绍了,的模拟实现,本篇文章将介绍对于的模拟实现。 目录 1. list的基本结构: 2. list功能实现:尾部插入元素: 3. list迭代器的实现: 4. list功能实现:在任意位置前…

vue2 导入使用vue-codemirror详解

目录 vue2 导入使用vue-codemirror详解1 介绍2 安装使用2.1 安装 vue-codemirror2.2 使用 codemirror2.2.1 引入 3 配置详情3.1 语言模式配置3.2 自动高度设置3.4 主题配置 4 总结 vue2 导入使用vue-codemirror详解 1 介绍 vue-codemirror是一个基于Vue的代码在线编辑器组件&…