版权声明:本文为博主原创文章,转载时请注明作者和出处。 https://blog.csdn.net/A_a_ron/article/details/80202754
引言
本Blog用于记录在深度学习实验中一些需要注意的一些小陷阱、小Trick。防止自己再次入坑。
本贴长期更新
数据处理
1. 生成的数据集保存成npy文件时过大
在深度学习中,如果我们只有少量数据,则会采用数据扩充方法。比如一张图像扩充成20张。这样的过程汇带来存储空间的不足。后来发现,在numpy中如果不注意的话,经过一定的运算后的数组类型往往是float
类型,而浮点类型要比int
型需要更多的存储空间,为此我专门做过实验,例如一个2800*216*64
的矩阵,分别按照unit8
,float32
,float64
的类型存储,其大小分别为36.9Mb
,147Mb
,295Mb
。对于没有必要使用浮点型的矩阵可以转换成int
型,对于图像而言,uint8
就完全足够了,可以节省很多空间。
#numpy中矩阵类型查看,假设矩阵为image
# import numpy as np
[In:] image.dtype #打印该矩阵的数据类型
[Out:] dtype('float64')
[In:] image = image.astype(np.uint8) #类型转换
[In:] image.dtype
[Out:] dtype('unit8')
更新于2018-05-05