〔TensorFlow〕MNIST 数据集

MNIST 数据集来自美国国家标准与技术研究所, National Institute of Standards and Technology (NIST)。训练集（training set）由来自 250 个不同人手写的数字构成，其中 50%是高中学生，50%来自人口普查局（the Census Bureau）的工作人员。测试集（test set）也是同样比例的手写数字数据，但保证了测试集和训练集的作者集不相交。

MNIST 数据集一共有 7 万张图片，其中 6 万张是训练集，1 万张是测试集。每张图片是 28 × 28 的 0 − 9 的手写数字图片组成。每个图片是黑底白字的形式，黑底用 0 表示，白字用 0-1 之间的浮点数表示，越接近 1，颜色越白。为了简单起见，每个图像都被压平并转换为 784 个特征（28*28）的一维数字阵列。

MNIST 数据集

MNIST 数据集不需要你手动去下载。

import tensorflow as tf

#加载MNIST数据集
mnist = tf.keras.datasets.mnist
(x_train, y_train), (x_test, y_test) = mnist.load_data()

如果你想下载下来瞅瞅，那就把链接（http://yann.lecun.com/exdb/mnist/）拷贝到新的浏览器中。新打开一个浏览器，它不会提示输入用户名和密码。

文件名	数据集	大小	格式
train-images-idx3-ubyte.gz	训练集图像	9.45M	二进制编码文件
train-labels-idx1-ubyte.gz	训练集标签	28.2K	二进制编码文件
t10k-images-idx3-ubyte.gz	测试集图像	1.57M	二进制编码文件
t10k-labels-idx1-ubyte.gz	测试集标签	4.43K	二进制编码文件

文件都是有格式的二进制编码文件，无法直接预览，使用如下代码（代码来自 CSDN）预览图像和标签，输出图像就是上面的图像。

import os
import gzip
import logging

import numpy as np
import matplotlib.pyplot as plt

logging.basicConfig(format="%(message)s", level=logging.DEBUG)  # 设置Python日志管理工具的消息格式和显示级别

plt.rcParams["font.sans-serif"] = "SimHei"  # 确保plt绘图正常显示中文
plt.rcParams["figure.figsize"] = [9, 10]  # 设置plt绘图尺寸

def parse_mnist(minst_file_addr: str = None) -> np.array:
    """解析MNIST二进制文件, 并返回解析结果
    输入参数:
        minst_file: MNIST数据集的文件地址. 类型: 字符串.

    返回值:
        解析后的numpy数组
    """
    if minst_file_addr is not None:
        minst_file_name = os.path.basename(minst_file_addr)  # 根据地址获取MNIST文件名字
        with gzip.open(filename=minst_file_addr, mode="rb") as minst_file:
            mnist_file_content = minst_file.read()
        if "label" in minst_file_name:  # 传入的为标签二进制编码文件地址
            data = np.frombuffer(buffer=mnist_file_content, dtype=np.uint8, offset=8)  # MNIST标签文件的前8个字节为描述性内容，直接从第九个字节开始读取标签，并解析
        else:  # 传入的为图片二进制编码文件地址
            data = np.frombuffer(buffer=mnist_file_content, dtype=np.uint8, offset=16)  # MNIST图片文件的前16个字节为描述性内容，直接从第九个字节开始读取标签，并解析
            data = data.reshape(-1, 28, 28)
    else:
        logging.warning(msg="请传入MNIST文件地址!")

    return data


if __name__ == "__main__":
    train_imgs = parse_mnist(minst_file_addr="C:/Users/xxx/Downloads/train-images-idx3-ubyte.gz")  # 训练集图像
    train_labels = parse_mnist(minst_file_addr="C:/Users/xxx/Downloads/train-labels-idx1-ubyte.gz")  # 训练集标签

    # 可视化
    fig, ax = plt.subplots(ncols=3, nrows=3)
    ax[0, 0].imshow(train_imgs[0], cmap=plt.cm.gray)
    ax[0, 0].set_title(f"[LOJOB]标签为{train_labels[0]}")
    ax[0, 1].imshow(train_imgs[1], cmap=plt.cm.gray)
    ax[0, 1].set_title(f"[LOJOB]标签为{train_labels[1]}")
    ax[0, 2].imshow(train_imgs[2], cmap=plt.cm.gray)
    ax[0, 2].set_title(f"[LOJOB]标签为{train_labels[2]}")
    ax[1, 0].imshow(train_imgs[3], cmap=plt.cm.gray)
    ax[1, 0].set_title(f"[LOJOB]标签为{train_labels[3]}")
    ax[1, 1].imshow(train_imgs[4], cmap=plt.cm.gray)
    ax[1, 1].set_title(f"[LOJOB]标签为{train_labels[4]}")
    ax[1, 2].imshow(train_imgs[5], cmap=plt.cm.gray)
    ax[1, 2].set_title(f"[LOJOB]标签为{train_labels[5]}")
    ax[2, 0].imshow(train_imgs[6], cmap=plt.cm.gray)
    ax[2, 0].set_title(f"[LOJOB]标签为{train_labels[6]}")
    ax[2, 1].imshow(train_imgs[7], cmap=plt.cm.gray)
    ax[2, 1].set_title(f"[LOJOB]标签为{train_labels[7]}")
    ax[2, 2].imshow(train_imgs[8], cmap=plt.cm.gray)
    ax[2, 2].set_title(f"[LOJOB]标签为{train_labels[8]}")
    plt.show()  # 显示绘图

    print(plt.rcParams.keys())