自制数据集
数据集路径
.\mnist_image_label
mnist_train_jpg_60000和mnist_test_jpg_10000存放训练集和测试集
mnist_test_jpg_10000.txt和mnist_train_jpg_60000.txt存放训练集和测试集标签
train_path = './mnist_image_label/mnist_train_jpg_60000/' # 训练集图片路径
train_txt = './mnist_image_label/mnist_train_jpg_60000.txt' # 训练集标签文件
x_train_savepath = './mnist_image_label/mnist_x_train.npy' # 训练集输入特征存储文件
y_train_savepath = './mnist_image_label/mnist_y_train.npy' # 训练集标签存储文件
test_path = './mnist_image_label/mnist_test_jpg_10000/' # 测试集图片路径
test_txt = './mnist_image_label/mnist_test_jpg_10000.txt' # 测试集标签文件
x_test_savepath = './mnist_image_label/mnist_x_test.npy' # 测试集输入特征存储文件
y_test_savepath = './mnist_image_label/mnist_y_test.npy' # 测试集输入标签存储文件
读入数据
标准数据集读入
mnist = tf.keras.datasets.mnist
(x_train, y_train), (x_test, y_test) = mnist.load_data()
自制数据集读入
def generateds(path, txt):
f = open(txt, 'r') # 以只读形式打开txt文件
contents = f.readlines() # 读取文件中所有行
f.close() # 关闭txt文件
x, y_ = [], [] # 建立空列表
for content in contents: # 逐行取出
value = content.split() # 以空格分开,图片路径为value[0] , 标签为value[1] , 存入列表
img_path = path + value[0] # 拼出图片路径和文件名
img = Image.open(img_path) # 读入图片
img = np.array(img.convert('L')) # 图片变为8位宽灰度值的np.array格式
img = img / 255. # 数据归一化 (实现预处理)
x.append(img) # 归一化后的数据,贴到列表x
y_.append(value[1]) # 标签贴到列表y_
print('loading : ' + content) # 打印状态提示
x = np.array(x) # 变为np.array格式
y_ = np.array(y_) # 变为np.array格式
y_ = y_.astype(np.int64) # 变为64位整型
return x, y_ # 返回输入特征x,返回标签y_