第T4周：使用TensorFlow实现猴痘病识别

  • 🍨 本文为🔗365天深度学习训练营 中的学习记录博客
  • 🍖 原作者：K同学啊

    文章目录

    • 一、前期工作
      • 1.设置GPU（如果使用的是CPU可以忽略这步）
      • 2. 导入数据
      • 3. 查看数据
    • 二、数据预处理
      • 1、加载数据
      • 2、数据可视化
      • 3、再次检查数据
      • 4、配置数据集
    • 三、构建CNN网络
    • 四、编译
    • 五、训练模型
    • 六、模型评估
      • 1. Loss与Accuracy图
      • 2.指定图片进行预测
    • 七、优化
      • 1、使用`model.evaluate`使用测试集评估模型
      • 2、网络结构优化
      • 3、 Loss与Accuracy图
      • 4、使用`model.evaluate`评估优化后的模型
    • 八、总结

电脑环境：
语言环境：Python 3.8.0
编译器：Jupyter Notebook
深度学习环境：tensorflow 2.15.0

一、前期工作

1.设置GPU（如果使用的是CPU可以忽略这步）

from tensorflow import keras
from keras import layers, models
import os, PIL, pathlib
import matplotlib.pyplot as plt
import tensorflow as tf

gpus = tf.config.list_physical_devices("GPU")

if gpus:
    gpu0 = gpus[0] #如果有多个GPU，仅使用第0个GPU
    tf.config.experimental.set_memory_growth(gpu0, True) #设置GPU显存用量按需使用
    tf.config.set_visible_devices([gpu0],"GPU")

2. 导入数据

data_dir = "./data/"
data_dir = pathlib.Path(data_dir)

3. 查看数据

image_count = len(list(data_dir.glob('*/*.jpg')))
print("图片总数为：",image_count)

输出：图片总数为： 2142

打开一张图片：

Monkeypox = list(data_dir.glob('Monkeypox/*.jpg'))
PIL.Image.open(str(Monkeypox[1]))

在这里插入图片描述

二、数据预处理

1、加载数据

使用image_dataset_from_directory方法将磁盘中的数据加载到tf.data.Dataset中。

测试集与验证集的关系：

  1. 验证集并没有参与训练过程梯度下降过程的，狭义上来讲是没有参与模型的参数训练更新的。
  2. 但是广义上来讲，验证集存在的意义确实参与了一个“人工调参”的过程，我们根据每一个epoch训练之后模型在valid data上的表现来决定是否需要训练进行early stop，或者根据这个过程模型的性能变化来调整模型的超参数，如学习率，batch_size等等。
  3. 因此，我们也可以认为，验证集也参与了训练，但是并没有使得模型去overfit验证集。
batch_size = 32
img_height = 224
img_width = 224

"""
关于image_dataset_from_directory()的详细介绍可以参考文章：https://mtyjkh.blog.csdn.net/article/details/117018789
"""
train_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.2,
    subset="training",
    seed=123,
    image_size=(img_height, img_width),
    batch_size=batch_size)

val_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.2,
    subset="validation",
    seed=123,
    image_size=(img_height, img_width),
    batch_size=batch_size)

我们可以通过class_names输出数据集的标签。标签将按字母顺序对应于目录名称。

class_names = train_ds.class_names
print(class_names)

输出：

[‘Monkeypox’, ‘Others’]

2、数据可视化

plt.figure(figsize=(20, 10))

for images, labels in train_ds.take(1):
    for i in range(20):
        ax = plt.subplot(5, 10, i + 1)

        plt.imshow(images[i].numpy().astype("uint8"))
        plt.title(class_names[labels[i]])
        
        plt.axis("off")

3、再次检查数据

for image_batch, labels_batch in train_ds:
    print(image_batch.shape)
    print(labels_batch.shape)
    break

输出：

(32, 224, 224, 3)
(32,)

4、配置数据集

AUTOTUNE = tf.data.AUTOTUNE
train_ds = train_ds.cache().shuffle(1000).prefetch(buffer_size=AUTOTUNE)
val_ds = val_ds.cache().prefetch(buffer_size=AUTOTUNE)

三、构建CNN网络

num_classes = 2

"""
关于卷积核的计算不懂的可以参考文章：https://blog.csdn.net/qq_38251616/article/details/114278995

layers.Dropout(0.4) 作用是防止过拟合，提高模型的泛化能力。
在上一篇文章花朵识别中，训练准确率与验证准确率相差巨大就是由于模型过拟合导致的

关于Dropout层的更多介绍可以参考文章：https://mtyjkh.blog.csdn.net/article/details/115826689
"""

model = models.Sequential([
    layers.experimental.preprocessing.Rescaling(1./255, input_shape=(img_height, img_width, 3)), # 归一化
    
    layers.Conv2D(16, (3, 3), activation='relu', input_shape=(img_height, img_width, 3)), # 卷积层1，卷积核3*3  
    layers.AveragePooling2D((2, 2)),               # 池化层1，2*2采样
    layers.Conv2D(32, (3, 3), activation='relu'),  # 卷积层2，卷积核3*3
    layers.AveragePooling2D((2, 2)),               # 池化层2，2*2采样
    layers.Dropout(0.3),  
    layers.Conv2D(64, (3, 3), activation='relu'),  # 卷积层3，卷积核3*3
    layers.Dropout(0.3),  
    
    layers.Flatten(),                       # Flatten层，连接卷积层与全连接层
    layers.Dense(128, activation='relu'),   # 全连接层，特征进一步提取
    layers.Dense(num_classes)               # 输出层，输出预期结果
])

model.summary()  # 打印网络结构

四、编译

# 设置优化器
opt = tf.keras.optimizers.Adam(learning_rate=1e-4)
model.compile(optimizer=opt,
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

五、训练模型

关于ModelCheckpoint的详细介绍可参考文章ModelCheckpoint 讲解【TensorFlow2入门手册】

from tensorflow.keras.callbacks import ModelCheckpoint

epochs = 50

checkpointer = ModelCheckpoint('best_model.h5',  # 保存最好模型的路径
                                monitor='val_accuracy',  # 需要监视的指标
                                verbose=1,  # 信息展示模式，0/1
                                save_best_only=True,  # 当设置为True时，监测指标有改进时才会保存当前的模型
                                save_weights_only=True)  # 当设置为True时，则只保存模型权重，否则将保存整个模型（模型结构，配置信息等）

history = model.fit(train_ds,
                    validation_data=val_ds,
                    epochs=epochs,
                    callbacks=[checkpointer])

输出：

Epoch 1/50
53/54 [============================>.] - ETA: 0s - loss: 0.7034 - accuracy: 0.5612
Epoch 1: val_accuracy improved from -inf to 0.58879, saving model to /content/drive/MyDrive/app/T4/best_model.h5
54/54 [==============================] - 280s 976ms/step - loss: 0.7029 - accuracy: 0.5607 - val_loss: 0.6588 - val_accuracy: 0.5888
.................................
Epoch 47/50
53/54 [============================>.] - ETA: 0s - loss: 0.0545 - accuracy: 0.9875
Epoch 47: val_accuracy did not improve from 0.88318
54/54 [==============================] - 2s 45ms/step - loss: 0.0549 - accuracy: 0.9872 - val_loss: 0.4760 - val_accuracy: 0.8762
Epoch 48/50
53/54 [============================>.] - ETA: 0s - loss: 0.0525 - accuracy: 0.9857
Epoch 48: val_accuracy did not improve from 0.88318
54/54 [==============================] - 3s 48ms/step - loss: 0.0526 - accuracy: 0.9860 - val_loss: 0.4829 - val_accuracy: 0.8808
Epoch 49/50
54/54 [==============================] - ETA: 0s - loss: 0.0606 - accuracy: 0.9802
Epoch 49: val_accuracy improved from 0.88318 to 0.88551, saving model to /content/drive/MyDrive/app/T4/best_model.h5
54/54 [==============================] - 4s 76ms/step - loss: 0.0606 - accuracy: 0.9802 - val_loss: 0.5093 - val_accuracy: 0.8855
Epoch 50/50
53/54 [============================>.] - ETA: 0s - loss: 0.0614 - accuracy: 0.9786
Epoch 50: val_accuracy did not improve from 0.88551
54/54 [==============================] - 3s 51ms/step - loss: 0.0615 - accuracy: 0.9784 - val_loss: 0.4773 - val_accuracy: 0.8762

六、模型评估

1. Loss与Accuracy图

acc = history.history['accuracy']
val_acc = history.history['val_accuracy']

loss = history.history['loss']
val_loss = history.history['val_loss']

epochs_range = range(epochs)

plt.figure(figsize=(12, 4))
plt.subplot(1, 2, 1)
plt.plot(epochs_range, acc, label='Training Accuracy')
plt.plot(epochs_range, val_acc, label='Validation Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')

plt.subplot(1, 2, 2)
plt.plot(epochs_range, loss, label='Training Loss')
plt.plot(epochs_range, val_loss, label='Validation Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()

在这里插入图片描述

2.指定图片进行预测

# 加载效果最好的模型权重
model.load_weights('best_model.h5')

from PIL import Image
import numpy as np

# img = Image.open("./45-data/Monkeypox/M06_01_04.jpg")  #这里选择你需要预测的图片
img = Image.open("./45-data/Others/NM01_01_00.jpg")  #这里选择你需要预测的图片
image = tf.image.resize(img, [img_height, img_width])

img_array = tf.expand_dims(image, 0) 

predictions = model.predict(img_array) # 这里选用你已经训练好的模型
print("预测结果为：",class_names[np.argmax(predictions)])

输出：

1/1 [==============================] - 0s 19ms/step
预测结果为： Others

预测正确。

七、优化

1、使用model.evaluate使用测试集评估模型

test_loss, test_acc = model.evaluate(val_ds, verbose=1)  # verbose=0不显示进度条，1显示进度条
print('Test loss:', test_loss)
print('Test accuracy:', test_acc)

输出：

14/14 [==============================] - 0s 16ms/step - loss: 0.5093 - accuracy: 0.8855
Test loss: 0.5093046426773071
Test accuracy: 0.8855140209197998

在上边Loss与Accuracy图中可以看出，模型存在过拟合的问题，出现过拟合的问题解决办法有减小网络的大小、添加正则化项、添加dropout层等。

2、网络结构优化

经过多次训练和优化，最终效果最好的网络结构如下：包括5个卷积层，5个池化层，1个dropout层。

num_classes = 2

model = models.Sequential([
    layers.experimental.preprocessing.Rescaling(1./255, input_shape=(img_height, img_width, 3)),

    layers.Conv2D(16, (3, 3), activation='relu', input_shape=(img_height, img_width, 3)),  # 卷积层1
    layers.AveragePooling2D((2, 2)),  # 池化层1
    layers.Conv2D(32, (3, 3), activation='relu'),  # 卷积层2
    layers.AveragePooling2D((2, 2)),  # 池化层2
    layers.Conv2D(32, (3, 3), activation='relu'),  # 卷积层3
    layers.AveragePooling2D((2, 2)),  # 池化层3
    layers.Conv2D(32, (3, 3), activation='relu'),  # 卷积层4
    layers.AveragePooling2D((2, 2)),  # 池化层4
    layers.Conv2D(64, (3, 3), activation='relu'),  # 卷积层5
    layers.AveragePooling2D((2, 2)),  # 池化层5
    layers.Dropout(0.4),

    layers.Flatten(),
    layers.Dense(128, activation='relu'),
    layers.Dense(num_classes)
])

训练输出结果：

Epoch 1/50
54/54 [==============================] - ETA: 0s - loss: 0.6823 - accuracy: 0.5443
Epoch 1: val_accuracy improved from -inf to 0.56308, saving model to /content/drive/MyDrive/app/T4/best_model2.h5
54/54 [==============================] - 5s 52ms/step - loss: 0.6823 - accuracy: 0.5443 - val_loss: 0.6771 - val_accuracy: 0.5631
。。。。。。。。。。。。。。。。。。。。。。。。。。。。
Epoch 47/50
53/54 [============================>.] - ETA: 0s - loss: 0.3012 - accuracy: 0.8757
Epoch 47: val_accuracy improved from 0.85981 to 0.87383, saving model to /content/drive/MyDrive/app/T4/best_model2.h5
54/54 [==============================] - 3s 52ms/step - loss: 0.3042 - accuracy: 0.8734 - val_loss: 0.3395 - val_accuracy: 0.8738
Epoch 48/50
53/54 [============================>.] - ETA: 0s - loss: 0.3027 - accuracy: 0.8829
Epoch 48: val_accuracy did not improve from 0.87383
54/54 [==============================] - 2s 38ms/step - loss: 0.3056 - accuracy: 0.8810 - val_loss: 0.3355 - val_accuracy: 0.8738
Epoch 49/50
53/54 [============================>.] - ETA: 0s - loss: 0.3036 - accuracy: 0.8805
Epoch 49: val_accuracy did not improve from 0.87383
54/54 [==============================] - 2s 38ms/step - loss: 0.3021 - accuracy: 0.8816 - val_loss: 0.3387 - val_accuracy: 0.8621
Epoch 50/50
53/54 [============================>.] - ETA: 0s - loss: 0.2950 - accuracy: 0.8912
Epoch 50: val_accuracy improved from 0.87383 to 0.89019, saving model to /content/drive/MyDrive/app/T4/best_model2.h5
54/54 [==============================] - 2s 39ms/step - loss: 0.2945 - accuracy: 0.8909 - val_loss: 0.3172 - val_accuracy: 0.8902

3、 Loss与Accuracy图

在这里插入图片描述
从图中可以看出模型过拟合的影响大大减小，我没有在网络中增加正则化项，模型还有提升的空间。

4、使用model.evaluate评估优化后的模型

test_loss, test_acc = model.evaluate(val_ds, verbose=1)  # verbose=0不显示进度条，1显示进度条
print('Test loss:', test_loss)
print('Test accuracy:', test_acc)

输出：

14/14 [==============================] - 0s 13ms/step - loss: 0.3172 - accuracy: 0.8902
Test loss: 0.31724825501441956
Test accuracy: 0.8901869058609009

测试集的loss大大减小，且acc提高了。

八、总结

对于神经网络学习图片特征过程中，过拟合现象很容易发生，耐心调参即可对模型进行优化。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/780234.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Splunk Enterprise 中的严重漏洞允许远程执行代码

Splunk Enterprise 中的严重漏洞允许远程执行代码

Splunk 是搜索、监控和分析机器生成大数据的软件领先提供商，为其旗舰产品 Splunk Enterprise 发布了紧急安全更新。 这些更新解决了几个构成重大安全风险的关键漏洞，包括远程代码执行 (RCE) 的可能性。 受影响的版本包括 * 9.0.x、9.1.x 和 9.2.x&…
阅读更多...
竞赛 深度学习OCR中文识别 - opencv python

竞赛 深度学习OCR中文识别 - opencv python

文章目录 0 前言1 课题背景2 实现效果3 文本区域检测网络-CTPN4 文本识别网络-CRNN5 最后 0 前言 🔥 优质竞赛项目系列，今天要分享的是 🚩 **基于深度学习OCR中文识别系统 ** 该项目较为新颖，适合作为竞赛课题方向，…
阅读更多...
STM32-SPI和W25Q64

STM32-SPI和W25Q64

本内容基于江协科技STM32视频学习之后整理而得。 文章目录 1. SPI（串行外设接口）通信1.1 SPI通信简介1.2 硬件电路1.3 移位示意图1.4 SPI时序基本单元1.5 SPI时序1.5.1 发送指令1.5.2 指定地址写1.5.3 指定地址读 2. W25Q642.1 W25Q64简介2.2 硬件电路2…
阅读更多...
【JVM系列】Full GC（完全垃圾回收）的原因及分析

【JVM系列】Full GC（完全垃圾回收）的原因及分析

💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…
阅读更多...
【小沐学Python】在线web数据可视化Python库：Bokeh

【小沐学Python】在线web数据可视化Python库：Bokeh

文章目录 1、简介2、安装3、测试3.1 创建折线图3.2 添加和自定义渲染器3.3 添加图例、文本和批注3.4 自定义您的绘图3.5 矢量化字形属性3.6 合并绘图3.7 显示和导出3.8 提供和筛选数据3.9 使用小部件3.10 嵌入Bokeh图表到Flask应用程序 结语 1、简介 https://bokeh.org/ https…
阅读更多...
从0到1：培训老师预约小程序开发笔记二

从0到1：培训老师预约小程序开发笔记二

背景调研 培训老师预约小程序： 教师和学生可以更便捷地安排课程，并提升教学质量和学习效果，使之成为管理和提升教学效果的强大工具。培训老师可以在小程序上设置自己的可预约时间，学员可以根据老师的日程安排选择合适的时间进行预…
阅读更多...
【HICE】dns正向解析

【HICE】dns正向解析

1.编辑仓库 2.挂载 3.下载软件包 4.编辑named.conf 5.编辑named.haha 6.重启服务 7.验证本地域名是否解析
阅读更多...
Mysql 数据库主从复制-CSDN

Mysql 数据库主从复制-CSDN

查询两台虚拟机的IP 主虚拟机IP 从虚拟机IP服务 修改对应的配置文件 查询对应配置文件的命令 find / -name my.cnf编辑对应的配置文件 主 my.cnf （部分配置） [mysqld] ########basic settings######## server_id 1 log_bin /var/log/mysql/mysql-…
阅读更多...
leetcode 709. 转换成小写字母

leetcode 709. 转换成小写字母

leetcode 709. 转换成小写字母 题解 class Solution { public:string toLowerCase(string s) {string ans;for (int i 0; i < s.size(); i) {if (s[i] > A && s[i] < Z) {s[i] 32;}ans s[i];}return ans;} };
阅读更多...
室内定位可视化：精准导航与实时位置展示

室内定位可视化：精准导航与实时位置展示

通过图扑室内定位可视化技术&#xff0c;提供精准的导航服务和实时位置展示&#xff0c;帮助用户高效找到目标地点&#xff0c;提升空间管理和资源配置的效率与体验。
阅读更多...
【昇思25天学习打卡营打卡指南-第十九天】基于MobileNetv2的垃圾分类

【昇思25天学习打卡营打卡指南-第十九天】基于MobileNetv2的垃圾分类

CycleGAN图像风格迁移互换 模型介绍 模型简介 CycleGAN(Cycle Generative Adversarial Network) 即循环对抗生成网络&#xff0c;来自论文 Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks 。该模型实现了一种在没有配对示例的情况下学习…
阅读更多...
go语言的异常处理机制

go语言的异常处理机制

error 在go语言中&#xff0c;异常被定义为实现了error接口的类型&#xff0c;error接口只定义了一个返回string类型Error&#xff08;&#xff09;方法&#xff0c;任何实现了Error()方法的类型都可以被定义为异常&#xff0c;以下是一个自定义的异常类型&#xff1a; typ…
阅读更多...
【零基础】学JS

【零基础】学JS

喝下这碗鸡汤 “知识就是力量。” - 弗朗西斯培根 1.三元运算符 目标:能利用三元运算符执行满足条件的语句 使用场景:其实是比if双分支更简单的写法&#xff0c;可以使用三元表达式 语法&#xff1a;条件 ? 满足条件的执行代码 : 不满足条件执行的代码 接下来用一个小案例来展…
阅读更多...
昇思25天学习打卡营第十四天|Pix2Pix实现图像转换

昇思25天学习打卡营第十四天|Pix2Pix实现图像转换

训练营进入第十四天&#xff0c;今天学的内容是Pix2Pix图像转换&#xff0c;记录一下学习内容&#xff1a; Pix2Pix概述 Pix2Pix是基于条件生成对抗网络&#xff08;cGAN, Condition Generative Adversarial Networks &#xff09;实现的一种深度学习图像转换模型&#xff0c…
阅读更多...
读书笔记-《魔鬼经济学》

读书笔记-《魔鬼经济学》

这是一本非常有意思的经济学启蒙书&#xff0c;作者探讨了许多问题&#xff0c;并通过数据找到答案。 我们先来看看作者眼中的“魔鬼经济学”是什么&#xff0c;再选一个贴近我们生活的例子进行阐述。 01 魔鬼经济学 中心思想&#xff1a;假如道德代表人类对世界运转方式的期…
阅读更多...
Vue 3集成krpano 全景图展示

Vue 3集成krpano 全景图展示

Vue 3集成krpano 全景图展示 星光云全景系统源码 VR全景体验地址 星光云全景VR系统 将全景krpano静态资源文件vtour放入vue项目中 导入vue之前需要自己制作一个全景图 需要借助官方工具进行制作 工具下载地址&#xff1a;krpano工具下载地址 注意事项&#xff1a;vuecli…
阅读更多...
LRU缓存算法设计

LRU缓存算法设计

LRU 缓存算法的核⼼数据结构就是哈希链表&#xff0c;双向链表和哈希表的结合体。这个数据结构⻓这样&#xff1a; 创建的需要有两个方法&#xff0c;一个是get方法&#xff0c;一个是put方法。 一些问题&#xff1a;为什么需要使用双向链表呢&#xff1f;因为删除链表的本身&…
阅读更多...
2-26 基于matlab开发的制冷循环模型

2-26 基于matlab开发的制冷循环模型

基于matlab开发的制冷循环模型。Simscape两相流域中的制冷循环模型&#xff0c;在simulink中完成多循环温度控制。程序已调通&#xff0c;可直接运行。 2-26 制冷循环模型 Simscape两相流域 - 小红书 (xiaohongshu.com)
阅读更多...
Web3D引擎，three.js堪称扛把子，Babylon.js差点意思。

Web3D引擎，three.js堪称扛把子，Babylon.js差点意思。

涉及到Web3D开发&#xff0c;Three.js和Babylon.js是两个备受推崇的引擎。它们都是基于WebGL的开源3D引擎&#xff0c;用于创建交互式的3D图形应用程序&#xff0c;但要细论起来&#xff0c;three.js普及度远超Babylon .js. 一、二者的介绍 Three.js&#xff1a; Three.js 是一…
阅读更多...
Android仿今日头条新闻（一）

Android仿今日头条新闻（一）

新建一个侧边栏的文件&#xff0c;创建成功后直接运行。可以看到带滑动的侧边栏功能如图所示&#xff1a; 主体UI&#xff1a; 新闻UI的实现: 侧边栏&#xff1a; 更换一下颜色&#xff1a; 学习参考-浩宇开发
阅读更多...
最新文章

Copyright @ 2022~2023