Week-T10 数据增强

文章目录

  • 一、准备环境和数据
    • 1.环境
    • 2. 数据
  • 二、数据增强（增加数据集中样本的多样性）
  • 三、将增强后的数据添加到模型中
  • 四、开始训练
  • 五、自定义增强函数
  • 六、一些增强函数

  • 🍨 本文为🔗365天深度学习训练营 中的学习记录博客
  • 🍦 参考文章：365天深度学习训练营-第10周：数据增强（训练营内部成员可读）
  • 🍖 原作者：K同学啊 | 接辅导、项目定制
  • 🚀 文章来源：K同学的学习圈子

本文说明了两种数据增强方式，以及如何自定义数据增强方式并将其放到我们代码当中，两种数据增强方式如下：
● 将数据增强模块嵌入model中
● 在Dataset数据集中进行数据增强

常用的tf增强函数在文末有说明

一、准备环境和数据

1.环境

import matplotlib.pyplot as plt
import numpy as np
import sys
from datetime import datetime
#隐藏警告
import warnings
warnings.filterwarnings('ignore')

from tensorflow.keras import layers
import tensorflow as tf

print("--------# 使用环境说明---------")
print("Today: ", datetime.today())
print("Python: " + sys.version)
print("Tensorflow: ", tf.__version__)

gpus = tf.config.list_physical_devices("GPU")
if gpus:
    tf.config.experimental.set_memory_growth(gpus[0], True)  #设置GPU显存用量按需使用
    tf.config.set_visible_devices([gpus[0]],"GPU")
    # 打印显卡信息，确认GPU可用
    print(gpus)
else:
    print("Use CPU")

在这里插入图片描述

2. 数据

使用上一课的数据集，即猫狗识别2的数据集。其次，原数据集中不包括测试集，所以使用tf.data.experimental.cardinality确定验证集中有多少批次的数据，然后将其中的 20% 移至测试集。

# 从本地路径读入图像数据
print("--------# 从本地路径读入图像数据---------")
data_dir   = "D:/jupyter notebook/DL-100-days/datasets/Cats&Dogs Data2/"
img_height = 224
img_width  = 224
batch_size = 32

# 划分训练集
print("--------# 划分训练集---------")
train_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.3,
    subset="training",
    seed=12,
    image_size=(img_height, img_width),
    batch_size=batch_size)

# 划分验证集
print("--------# 划分验证集---------")
val_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.3,
    subset="validation",
    seed=12,
    image_size=(img_height, img_width),
    batch_size=batch_size)

# 从验证集中划20%的数据用作测试集
print("--------# 从验证集中划20%的数据用作测试集---------")
val_batches = tf.data.experimental.cardinality(val_ds)
test_ds     = val_ds.take(val_batches // 5)
val_ds      = val_ds.skip(val_batches // 5)

print('验证集的批次数: %d' % tf.data.experimental.cardinality(val_ds))
print('测试集的批次数: %d' % tf.data.experimental.cardinality(test_ds))

# 显示数据类别
print("--------# 显示数据类别---------")
class_names = train_ds.class_names
print(class_names)

print("--------# 归一化处理---------")
AUTOTUNE = tf.data.AUTOTUNE

def preprocess_image(image,label):
    return (image/255.0,label)

# 归一化处理
train_ds = train_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
val_ds   = val_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
test_ds  = test_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)

train_ds = train_ds.cache().prefetch(buffer_size=AUTOTUNE)
val_ds   = val_ds.cache().prefetch(buffer_size=AUTOTUNE)

# 数据可视化
print("--------# 数据可视化---------")
plt.figure(figsize=(15, 10))  # 图形的宽为15高为10

for images, labels in train_ds.take(1):
    for i in range(8):
        
        ax = plt.subplot(5, 8, i + 1) 
        plt.imshow(images[i])
        plt.title(class_names[labels[i]])
        
        plt.axis("off")

在这里插入图片描述

二、数据增强（增加数据集中样本的多样性）

数据增强的常用方法包括（但不限于）：随机平移、随机翻转、随机旋转、随机亮度、随机对比度，可以在Tf中文网的experimental/preprocessing类目下查看，也可以在Tf中文网的layers/类目下查看。

本文使用随机翻转和随机旋转来进行增强：

● tf.keras.layers.experimental.preprocessing.RandomFlip：水平和垂直随机翻转每个图像

● tf.keras.layers.experimental.preprocessing.RandomRotation：随机旋转每个图像

# 第一个层表示进行随机的水平和垂直翻转，而第二个层表示按照 0.2 的弧度值进行随机旋转。
print("--------# 数据增强：随机翻转+随机旋转---------")
data_augmentation = tf.keras.Sequential([
  tf.keras.layers.experimental.preprocessing.RandomFlip("horizontal_and_vertical"),
  tf.keras.layers.experimental.preprocessing.RandomRotation(0.2),
])

# Add the image to a batch.
print("--------# 添加图像到batch中---------")
# Q：这个i从哪来的？？？？？？
image = tf.expand_dims(images[i], 0)

print("--------# 显示增强后的图像---------")
plt.figure(figsize=(8, 8))
for i in range(9):
    augmented_image = data_augmentation(image)
    ax = plt.subplot(3, 3, i + 1)
    plt.imshow(augmented_image[0])
    plt.axis("off")

--------# 数据增强：随机翻转+随机旋转---------
--------# 添加图像到batch中---------
--------# 显示增强后的图像---------
WARNING:tensorflow:Using a while_loop for converting RngReadAndSkip cause there is no registered converter for this op.
WARNING:tensorflow:Using a while_loop for converting Bitcast cause there is no registered converter for this op.

在这里插入图片描述

三、将增强后的数据添加到模型中

两种方式：

  • （1）将其嵌入model中：

优点是：

● 数据增强这块的工作可以得到GPU的加速（如果使用了GPU训练的话）

注意：只有在模型训练时（Model.fit）才会进行增强，在模型评估(Model.evaluate)以及预测(Model.predict)时并不会进行增强操作。

'''
model = tf.keras.Sequential([
  data_augmentation,
  layers.Conv2D(16, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
])
'''

"\nmodel = tf.keras.Sequential([\n  data_augmentation,\n  layers.Conv2D(16, 3, padding='same', activation='relu'),\n  layers.MaxPooling2D(),\n])\n"
  • （2）在Dataset数据集中进行数据增强
batch_size = 32
AUTOTUNE = tf.data.AUTOTUNE

def prepare(ds):
    ds = ds.map(lambda x, y: (data_augmentation(x, training=True), y), num_parallel_calls=AUTOTUNE)
    return ds

print("--------# 增强后的图像加到模型中---------")
train_ds = prepare(train_ds)

在这里插入图片描述

四、开始训练

# 设置模型
print("--------# 设置模型---------")
model = tf.keras.Sequential([
  layers.Conv2D(16, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Conv2D(32, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Conv2D(64, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Flatten(),
  layers.Dense(128, activation='relu'),
  layers.Dense(len(class_names))
])

# 设置编译参数
# ● 损失函数（loss）：用于衡量模型在训练期间的准确率。
# ● 优化器（optimizer）：决定模型如何根据其看到的数据和自身的损失函数进行更新。
# ● 评价函数（metrics）：用于监控训练和测试步骤。以下示例使用了准确率，即被正确分类的图像的比率。
print("--------# 设置编译器参数---------")
model.compile(optimizer='adam',
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

print("--------# 开始训练---------")
epochs=20
history = model.fit(
  train_ds,
  validation_data=val_ds,
  epochs=epochs
)

print("--------# 查看训练结果---------")
loss, acc = model.evaluate(test_ds)
print("Accuracy", acc)

在这里插入图片描述

五、自定义增强函数

print("--------# 自定义增强函数---------")
import random
# 这是大家可以自由发挥的一个地方
def aug_img(image):
    seed = (random.randint(0,9), 0)
    # 随机改变图像对比度
    stateless_random_brightness = tf.image.stateless_random_contrast(image, lower=0.1, upper=1.0, seed=seed)
    return stateless_random_brightness

image = tf.expand_dims(images[3]*255, 0)
print("Min and max pixel values:", image.numpy().min(), image.numpy().max())

plt.figure(figsize=(8, 8))
for i in range(9):
    augmented_image = aug_img(image)
    ax = plt.subplot(3, 3, i + 1)
    plt.imshow(augmented_image[0].numpy().astype("uint8"))

    plt.axis("off")
    
# Q: 将自定义增强函数应用到我们数据上呢？
# 请参考上文的 preprocess_image 函数，将 aug_img 函数嵌入到 preprocess_image 函数中，在数据预处理时完成数据增强就OK啦。

在这里插入图片描述
在这里插入图片描述

# 从本地路径读入图像数据
print("--------# 从本地路径读入图像数据---------")
data_dir   = "D:/jupyter notebook/DL-100-days/datasets/Cats&Dogs Data2/"
img_height = 224
img_width  = 224
batch_size = 32

# 划分训练集
print("--------# 划分训练集---------")
train_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.3,
    subset="training",
    seed=12,
    image_size=(img_height, img_width),
    batch_size=batch_size)

# 划分验证集
print("--------# 划分验证集---------")
val_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.3,
    subset="validation",
    seed=12,
    image_size=(img_height, img_width),
    batch_size=batch_size)

# 从验证集中划20%的数据用作测试集
print("--------# 从验证集中划20%的数据用作测试集---------")
val_batches = tf.data.experimental.cardinality(val_ds)
test_ds     = val_ds.take(val_batches // 5)
val_ds      = val_ds.skip(val_batches // 5)

print('验证集的批次数: %d' % tf.data.experimental.cardinality(val_ds))
print('测试集的批次数: %d' % tf.data.experimental.cardinality(test_ds))

# 显示数据类别
print("--------# 显示数据类别---------")
class_names = train_ds.class_names
print(class_names)

print("--------# 归一化处理---------")
AUTOTUNE = tf.data.AUTOTUNE

print("--------# 将自定义增强函数应用到数据上---------")
def preprocess_image(aug_img,label):
    return (aug_img/255.0,label)

# 归一化处理
train_ds = train_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
val_ds   = val_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
test_ds  = test_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)

train_ds = train_ds.cache().prefetch(buffer_size=AUTOTUNE)
val_ds   = val_ds.cache().prefetch(buffer_size=AUTOTUNE)

# 数据可视化
print("--------# 数据可视化---------")
plt.figure(figsize=(15, 10))  # 图形的宽为15高为10

for images, labels in train_ds.take(1):
    for i in range(8):
        
        ax = plt.subplot(5, 8, i + 1) 
        plt.imshow(images[i])
        plt.title(class_names[labels[i]])
        
        plt.axis("off")
        
# 设置模型
print("--------# 设置模型---------")
model = tf.keras.Sequential([
  layers.Conv2D(16, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Conv2D(32, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Conv2D(64, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Flatten(),
  layers.Dense(128, activation='relu'),
  layers.Dense(len(class_names))
])

# 设置编译参数
# ● 损失函数（loss）：用于衡量模型在训练期间的准确率。
# ● 优化器（optimizer）：决定模型如何根据其看到的数据和自身的损失函数进行更新。
# ● 评价函数（metrics）：用于监控训练和测试步骤。以下示例使用了准确率，即被正确分类的图像的比率。
print("--------# 设置编译器参数---------")
model.compile(optimizer='adam',
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

print("--------# 开始训练---------")
epochs=20
history = model.fit(
  train_ds,
  validation_data=val_ds,
  epochs=epochs
)

print("--------# 查看训练结果---------")
loss, acc = model.evaluate(test_ds)
print("Accuracy", acc)

使用自定义增强函数增强后的数据重新训练的结果：
在这里插入图片描述

六、一些增强函数

在这里插入图片描述
（1）随机亮度（RandomBrightness）

tf.keras.layers.RandomBrightness( factor, value_range=(0, 255), seed=None, **kwargs )

（2）随机对比度（RandomContrast）

tf.keras.layers.RandomContrast( factor, seed=None, **kwargs )

（3）随机裁剪（RandomCrop）

tf.keras.layers.RandomCrop( height, width, seed=None, **kwargs )

（4）随机翻转（RandomFlip）

tf.keras.layers.RandomFlip( mode=HORIZONTAL_AND_VERTICAL, seed=None, **kwargs )
（5）随机高度（RandomHeight）和随机宽度（RandomWidth）

tf.keras.layers.RandomHeight( factor, interpolation='bilinear', seed=None, **kwargs )

tf.keras.layers.RandomWidth( factor, interpolation='bilinear', seed=None, **kwargs )

（6）随机平移（RandomTranslation）

tf.keras.layers.RandomTranslation( height_factor, width_factor, fill_mode='reflect', interpolation='bilinear', seed=None, fill_value=0.0, **kwargs )

（7）随机旋转（RandonRotation）

tf.keras.layers.RandomRotation( factor, fill_mode='reflect', interpolation='bilinear', seed=None, fill_value=0.0, **kwargs )

（8）随机缩放（RandonZoom）

tf.keras.layers.RandomZoom( height_factor, width_factor=None, fill_mode='reflect', interpolation='bilinear', seed=None, fill_value=0.0, **kwargs )

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/173192.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

我在CSDN开组会1-蒙特卡洛模拟在矿床学的应用展望

我在CSDN开组会1-蒙特卡洛模拟在矿床学的应用展望

各位老师、同学们，大家好。今天组会的内容是蒙特卡洛模拟在矿床学的应用展望。 为什么要讲蒙特卡洛模拟呢，因为我发现在地质学方面已经有不少应用，但是蒙特卡洛模拟延伸的知识太晦涩了，劝退了很多探究者们。因此，计划…
阅读更多...
Django批量插入数据及分页器

Django批量插入数据及分页器

文章目录 一、批量插入数据二、分页1.分页器的思路2.用一个案例试试3.自定义分页器 一、批量插入数据 当我们需要大批量创建数据的时候，如果一条一条的去创建或许需要猴年马月 我们可以先试一试for循环试试 我们首先建立一个模型类来创建一个表 models.py&#xff…
阅读更多...
有依次对应关系的数组X、Y、Z，如何排序其中一个X数组，使得另外的数组还与排序完成后的数组相对应（C语言实现）

有依次对应关系的数组X、Y、Z，如何排序其中一个X数组，使得另外的数组还与排序完成后的数组相对应（C语言实现）

1. 目的 有依次对应关系的数组X、Y、Z，排序其中一个X数组，使得另外的数组还与排序完成后的数组相对应，并打印出排序完成后的X、Y、Z数组。 2. 具体实现 以下面的这个对应关系为例，进行相应编程实现。 X [3.7,7.7,-6.6,1.5,-4.5…
阅读更多...
腾讯云HAI域AI作画

腾讯云HAI域AI作画

目录 🐳前言： 🚀了解高性能应用服务 HAI 👻即插即用 轻松上手 👻横向对比 青出于蓝 🐤应用场景-AI作画 🐤应用场景-AI对话 🐤应用场景-算法研发 🚀使用HAI进行…
阅读更多...
ChatGPT暂时停止开通plus，可能迎来封号高峰期

ChatGPT暂时停止开通plus，可能迎来封号高峰期

前言： 前两日，chat gpt的创始人 San Altman在网上发表了，由于注册的使用量超过了他们的承受能力，为了确保每个人的良好使用体验，chat gpt将暂时停止开通gpt plus。 情况： 前段时间好像出现了官网崩溃的情况，就连api key都受到了影响，所以现在就开始了暂时停止plus的注…
阅读更多...
【数据结构】栈详解

【数据结构】栈详解

目录 1. 前言2. 栈2.1 栈的概念及结构2.2 如何实现栈2.3 数组栈实现2.3.1 top怎么确定2.3.2 栈顶插入2.3.2.1 栈顶插入分析2.3.2.2 栈顶插入代码实现 2.3.3 栈顶删除2.3.4 判空2.3.4.1 分析2.3.4.2 代码实现 2.3.5 栈的元素个数2.3.6 栈销毁2.3.7 栈访问数据 3. 源代码3.1 Stac…
阅读更多...
苍穹外卖—解决前端时间属性显示问题

苍穹外卖—解决前端时间属性显示问题

项目场景： 点击员工管理 出现显示时间属性问题 输入员工姓名为zhangsan 现实的时间属性是数组类型 问题描述 提示：这里描述项目中遇到的问题： 例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据 APP …
阅读更多...
手把手带你在AutoDL上部署InternLM-Chat-7B Transformers

手把手带你在AutoDL上部署InternLM-Chat-7B Transformers

手把手带你在AutoDL上部署InternLM-Chat-7B Transformers 调用 项目地址：https://github.com/KMnO4-zx/self_llm.git 如果大家有其他模型想要部署教程，可以来仓库提交issue哦~ 也可以自己提交PR！ InternLM-Chat-7B Transformers 部署调用 环…
阅读更多...
【代数学习题4.2】从零理解范数与迹 —— 求数域元素的范数与迹

【代数学习题4.2】从零理解范数与迹 —— 求数域元素的范数与迹

从零理解范数与迹 —— 求数域元素的范数与迹 写在最前面题目解答 2. 范数 N N N思路求解过程python求解 3. 数域 K K K 的范数 N K N_K NK​思路求解过程Python求解分析解题步骤 4. 迹 T T T求解过程共轭元素计算迹 python求解分析解题步骤 5. 数域 K K K 的迹 T K T_K …
阅读更多...
利用 React 和 Bootstrap 进行强大的前端开发

利用 React 和 Bootstrap 进行强大的前端开发

文章目录 介绍React 和 Bootstrap设置环境使用 Bootstrap 创建 React 组件React-Bootstrap 组件结论 介绍 创建响应式、交互式和外观引人入胜的 Web 界面是现代前端开发人员的基本技能。幸运的是，借助 React 和 Bootstrap 等工具的出现，制作这些 UI 变得…
阅读更多...
算法设计与分析复习--回溯法（二）

算法设计与分析复习--回溯法（二）

文章目录 上一篇0-1背包问题图着色问题n皇后问题下一篇 上一篇 算法设计与分析复习–回溯（一） 0-1背包问题 问题描述：给定n中物品和一个背包。物品 i i i 的重量是 w i w_i wi​ ，其价格为 v i v_i vi​ , 背包容量为 c c …
阅读更多...
speech studio-神经网络定制自己的声音

speech studio-神经网络定制自己的声音

Speech Studio - 神经网络定制声音 - 概述 (microsoft.com)
阅读更多...
Java，数据结构与集合源码，数据结构概述

Java，数据结构与集合源码，数据结构概述

目录 数据结构概念： 数据结构的研究对象： 研究对象一，数据间逻辑关系： 研究对象二，数据的存储结构（或物理结构）： 研究对象三：运算结构 数据结构的相关介绍&#xff…
阅读更多...
C++初阶--类型模板

C++初阶--类型模板

文章目录 泛型编程函数模板使用通用加法函数多模板参数必须用实例化 函数模板的原理类模板使用 注意事项 泛型编程 先看一个例子： 这是一些对于Swap重载的函数，区别是类型不同； 虽然能够重载使用，但代码复用率比较低&#xff0c…
阅读更多...
C++11新特性 变参模板、完美转发和emplace

C++11新特性 变参模板、完美转发和emplace

#include <iostream> #include <vector> #include <deque> #include <list> #include <algorithm> using namespace std;class student { public:student() {cout << "无参构造函数被调用!" << endl;}student(int age, st…
阅读更多...
C++静态链接库的生成以及使用

C++静态链接库的生成以及使用

目录 一.前言二.生成静态链接库三.使用静态链接库四.其他 一.前言 这篇文章简单讨论一下VS如何生成和使用C静态链接库&#xff0c;示例使用VS2022环境。 二.生成静态链接库 先创建C项目-静态库 然后将默认生成的.h和.cpp文件清理干净&#xff0c;当然你也可以选择保留。 然…
阅读更多...
Spring：IoC，AOP的简单理解与使用

Spring：IoC，AOP的简单理解与使用

IoC容器 IoC &#xff0c;Spring全家桶各个功能模块的基础&#xff0c;是创建对象的容器。 IoC概念 控制反转&#xff0c;将对象的创建进行反转&#xff0c;常规情况下对象由开发者手动创建&#xff0c;而使用IoC不再需要创建对象&#xff0c;由IoC容器根据需求自动创建项目…
阅读更多...
2023年【上海市安全员C3证】考试内容及上海市安全员C3证复审考试

2023年【上海市安全员C3证】考试内容及上海市安全员C3证复审考试

题库来源&#xff1a;安全生产模拟考试一点通公众号小程序 上海市安全员C3证考试内容是安全生产模拟考试一点通总题库中生成的一套上海市安全员C3证复审考试&#xff0c;安全生产模拟考试一点通上上海市安全员C3证作业手机同步练习。2023年【上海市安全员C3证】考试内容及上海…
阅读更多...
MyCAT2的主从配置

MyCAT2的主从配置

http://t.csdnimg.cn/KzwDy&#xff08;mysql主从搭建&#xff09; 前提&#xff0c;先搭建好MySQL的主从配置&#xff0c;登录MyCAT 2在MyCAT2里面操作&#xff0c;也就是连接8066这个端口。 一、创建数据源 ​​​​​​​1.创建数据源 添加读写的数据源 /* mycat:createD…
阅读更多...
U4_1：图论之DFS/BFS/TS/Scc

U4_1：图论之DFS/BFS/TS/Scc

文章目录 一、图的基本概念二、广度优先搜索&#xff08;BFS&#xff09;记录伪代码时间复杂度流程应用 三、深度优先搜索&#xff08;DFS&#xff09;记录伪代码时间复杂度流程时间戳结构BFS和DFS比较 四、拓扑排序一些概念有向图作用拓扑排序 分析伪代码时间复杂度彩蛋 五、强…
阅读更多...
最新文章

Copyright @ 2022~2023