- >- **🍨 本文为[🔗365天深度学习训练营](https://mp.weixin.qq.com/s/0dvHCaOoFnW8SCp3JpzKxg) 中的学习记录博客**
>- **🍖 原作者：[K同学啊](https://mtyjkh.blog.csdn.net/)**
🍺 要求：
- 了解
model.train_on_batch()并运用 - 了解tqdm，并使用tqdm实现可视化进度条
🏡 我的环境：
- 语言环境：Python3.6.5
- 编译器：Jupyter Notebook
- 深度学习环境：TensorFlow2.4.1
1. 设置GPU
import tensorflow as tf
gpus = tf.config.list_physical_devices("GPU")
if gpus:
tf.config.experimental.set_memory_growth(gpus[0], True) #设置GPU显存用量按需使用
tf.config.set_visible_devices([gpus[0]],"GPU")
# 打印显卡信息，确认GPU可用
print(gpus)[PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]
2. 导入数据
3. 加载数据
使用image_dataset_from_directory方法将磁盘中的数据加载到tf.data.Dataset中 
Found 3400 files belonging to 2 classes.
Using 2720 files for training.
我们可以通过class_names输出数据集的标签。标签将按字母顺序对应于目录名称。
['cat', 'dog']
4.配置数据集
- shuffle() ： 打乱数据，关于此函数的详细介绍可以参考：https://zhuanlan.zhihu.com/p/42417456
- prefetch() ：预取数据，加速运行，其详细介绍可以参考我前两篇文章，里面都有讲解。
- cache() ：将数据集缓存到内存当中，加速运行
5.可视化数据
6.构建VG-16网络
7.编译
model.compile(optimizer="adam",
loss ='sparse_categorical_crossentropy',
metrics =['accuracy'])
8.训练模型
from tqdm import tqdm
import tensorflow.keras.backend as K
epochs = 10
lr = 1e-4
# 记录训练数据，方便后面的分析
history_train_loss = []
history_train_accuracy = []
history_val_loss = []
history_val_accuracy = []
for epoch in range(epochs):
train_total = len(train_ds)
val_total = len(val_ds)
"""
total：预期的迭代数目
ncols：控制进度条宽度
mininterval：进度更新最小间隔，以秒为单位（默认值：0.1）
"""
with tqdm(total=train_total, desc=f'Epoch {epoch + 1}/{epochs}',mininterval=1,ncols=100) as pbar:
lr = lr*0.92
K.set_value(model.optimizer.lr, lr)
for image,label in train_ds:
"""
训练模型，简单理解train_on_batch就是：它是比model.fit()更高级的一个用法
想详细了解 train_on_batch 的同学，
可以看看我的这篇文章：https://www.yuque.com/mingtian-fkmxf/hv4lcq/ztt4gy
"""
history = model.train_on_batch(image,label)
train_loss = history[0]
train_accuracy = history[1]
pbar.set_postfix({"loss": "%.4f"%train_loss,
"accuracy":"%.4f"%train_accuracy,
"lr": K.get_value(model.optimizer.lr)})
pbar.update(1)
history_train_loss.append(train_loss)
history_train_accuracy.append(train_accuracy)
print('开始验证！')
with tqdm(total=val_total, desc=f'Epoch {epoch + 1}/{epochs}',mininterval=0.3,ncols=100) as pbar:
for image,label in val_ds:
history = model.test_on_batch(image,label)
val_loss = history[0]
val_accuracy = history[1]
pbar.set_postfix({"loss": "%.4f"%val_loss,
"accuracy":"%.4f"%val_accuracy})
pbar.update(1)
history_val_loss.append(val_loss)
history_val_accuracy.append(val_accuracy)
print('结束验证！')
print("验证loss为：%.4f"%val_loss)
print("验证准确率为：%.4f"%val_accuracy)9.总结
tqdm是一个快速、可扩展的Python进度条库，它提供了一种简单而直观的方式来跟踪代码的执行进度。tqdm的主要功能是在长时间运行的循环中添加一个进度提示信息。用户只需将任意的迭代器封装为tqdm(iterator)，即可实现进度可视化，这非常适合在数据处理、机器学习训练等需要长时间运行的任务中使用。
