深度学习入门-第3章-神经网络

前面的待补充

3.6 手写数字识别
3.6.1 MNIST 数据集
本书提供了便利的 Python 脚本 mnist.py ，该脚本支持从下载 MNIST 数据集到将这些数据转换成 NumPy 数组等处理（mnist.py 在 dataset 目录下）。
使用 mnist.py 时，当前目录必须是 ch01 、ch02 、ch03、…、ch08 目录中的一个。使用 mnist.py 中的 load_mnist() 函数，就可以按下述方式轻松读入 MNIST 数据。
实际使用中是报错的，提示urllib.request获取数据失败，检查代码：
from dataset.mnist import load_mnist
使用的是dataset目录下的mnist.py中的load_mnist函数
直接查看mnist.py源码：

url_base = 'http://yann.lecun.com/exdb/mnist/'
key_file = {
    'train_img':'train-images-idx3-ubyte.gz',
    'train_label':'train-labels-idx1-ubyte.gz',
    'test_img':'t10k-images-idx3-ubyte.gz',
    'test_label':'t10k-labels-idx1-ubyte.gz'
}

dataset_dir = os.path.dirname(os.path.abspath(__file__))
save_file = dataset_dir + "/mnist.pkl"

上面的代码是把从网站下载的4个文件放到mnist.pkl中保存。下载代码如下：

def _download(file_name):
    file_path = dataset_dir + "/" + file_name
    
    if os.path.exists(file_path):
        return
    urllib.request.urlretrieve(url_base + file_name, file_path)

直接运行，下载这一步报错了。从浏览器直接下载试试

MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges

下载被拒绝，网上搜了一下原因，然后就更换为：

GitHub - zalandoresearch/fashion-mnist: A MNIST-like fashion product database. Benchmark

下载OK了，但里面的图明显不是0-9的数字，库不太对,又找了一个：

vision/torchvision/datasets/mnist.py at ddad38f3a84d4d87cbb389bc78e245920fe86f82 · pytorch/vision · GitHub

https://ossci-datasets.s3.amazonaws.com/mnist/

这个库也不太对，里面显示的应该也是各种衬衫、裙子的识别，估计和fashion-mnist是一样的。

最终在github上找到了原始的0-9数字数据集：
https://github.com/geektutu/tensorflow-tutorial-samples/blob/master/mnist/data_set/
通过浏览器下载到dataset目录，就可以了。
程序下载经常会失败，原因众所周知，国内访问github总是时灵时不灵，用浏览器也要多刷几次才行（骂一句万恶的墙，啥时候才能拆了接轨世界）。

插曲：如果是内网，python下载需要在程序中设置代理。

    file_path = dataset_dir + "/" + file_name
    
    if os.path.exists(file_path):
        return

    print("set proxy...")
    # 设置代理
    proxies = {'http': 'http://proxy.xxx:80', 'https': 'https://proxy.xxx:80'}
    proxy_handler = urllib.request.ProxyHandler(proxies)
 
    # 创建Opener
    opener = urllib.request.build_opener(proxy_handler)
    # 安装Opener
    urllib.request.install_opener(opener)

    print("Downloading " + file_name + " ... ")
    urllib.request.urlretrieve(url_base + file_name, file_path)
    print("Done")

下载好了dataset就可以mnist_show.py了，提示还有错误:

D:\python\test\ch03>py mnist_show.py
Traceback (most recent call last):
File "mnist_show.py", line 5, in <module>
from PIL import Image
ModuleNotFoundError: No module named 'PIL'
PIL 库没有？
py -m pip install Pillow --proxy http://proxy.xxx.cn:80 -i https://pypi.tuna.tsinghua.edu.cn/simple

Installing collected packages: Pillow
Successfully installed Pillow-9.5.0
成功安装Pillow后问题解决。

mnist_show.py代码，加了注释

import sys,os
sys.path.append(os.pardir)  # 为了导入父目录的文件而进行的设定，这里要用dataset目录下的mnist.py文件
import numpy as np
from dataset.mnist import load_mnist  # 导入mnist.py文件中的load_mnist函数
from PIL import Image  # 这个包需要单独安装，py -m pip install Pillow --proxy http://proxy.xxx.cn:80 -i https://pypi.tuna.tsinghua.edu.cn/simple 

def img_show(img):
    pil_img = Image.fromarray(np.uint8(img))  # 把保存为 NumPy 数组的图像数据转换为 PIL 用的数据对象
    pil_img.show()

# 第一次加载需要几分钟，load_mnist是从网上下载，如前所述，直接手工下载到dataset目录就行了，不需要执行下载，这样就快了
# load_mnist 函数以“( 训练图像, 训练标签 )，( 测试图像, 测试标签 ) ”的形式返回读入的 MNIST 数据
(x_train, t_train),(x_test, t_test) = load_mnist(
    flatten=True,  # flatten=True 时读入的图像是以784个元素构成的一维数组的形式保存的。因此，显示图像时，需要把它变为原来的 28像素 × 28 像素的形状。
    normalize=False) # normalize 设置是否将输入图像正规化为 0.0～1.0 的值。如果将该参数设置为 False ，则输入图像的像素会保持原来的 0～255

# 输出各数据的形状
print(x_train.shape)  # (60000, 784)
print(t_train.shape)  # (60000,)
print(x_test.shape)   # (10000, 784)
print(t_test.shape)   # (10000,)

img = x_train[0]
label = t_train[0]
print(label)

print(img.shape)
img = img.reshape(28,28)  # 通过 reshape() 方法的参数指定期望的形状，更改 NumPy 数组的形状。
print(img.shape)

img_show(img)

运行结果和书上是一样的，标签是5，图形也是5，侧面证明和书上的数据集是一套。

D:\python\test\ch03>py mnist_show.py
(60000, 784)
(60000,)
(10000, 784)
(10000,)
5
(784,)
(28, 28)

图形：