MNIST数据集转化为CSV格式

MNIST数据集是一个手写识别数据集,机器学习基础的数据集,其原始数据集以字节形式存储,包含四个部分:

  • 训练集images: train-images-idx3-ubyte.gz (包含60000个样本)
  • 训练集labels:   train-labels-idx1-ubyte.gz (包含60000个标签)
  • 测试集images: t10k-images-idx3-ubyte.gz (包含10000个样本)
  • 测试集labels:   t10k-labels-idx1-ubyte.gz (包含10000个标签)

学习过程中,原始的数据格式不太习惯,遂根据相关资料,将其转化为csv格式,分别存储在mnist_train.csv,mnist_test.csv两个文件中,供学习使用。

MNIST数据集下载:

http://yann.lecun.com/exdb/mnist/  或  https://download.csdn.net/download/albert201605/10340814


转化方法:下载原始数据后,置于工程目录下,解压,运行以下代码即可。

def convert(imgf, labelf, outf, n):
    f = open(imgf, "rb")
    o = open(outf, "w")
    l = open(labelf, "rb")

    f.read(16)
    l.read(8)
    images = []

    for i in range(n):
        image = [ord(l.read(1))]
        for j in range(28*28):
            image.append(ord(f.read(1)))
        images.append(image)

    for image in images:
        o.write(",".join(str(pix) for pix in image)+"\n")
    f.close()
    o.close()
    l.close()

convert("MNIST/train-images.idx3-ubyte", "MNIST/train-labels.idx1-ubyte",
        "mnist_train.csv", 60000)
convert("MNIST/t10k-images.idx3-ubyte", "MNIST/t10k-labels.idx1-ubyte",
        "mnist_test.csv", 10000)

print("Convert Finished!")

参考:

  1. https://blog.csdn.net/simple_the_best/article/details/75267863
  2. https://pjreddie.com/projects/mnist-in-csv/

猜你喜欢

转载自blog.csdn.net/Albert201605/article/details/79893585