一、问题
numpy version :1.23.0
优化项目的是时候发现索引一个dict的时候很慢,因此进行分析。速度很慢的问题代码如下
arr_dict = np.load('test.npz') # npz 100MB
for i in range(1000):
a = arr_dict['keyPoints'][i]
进一步分析发现,arr_dict = np.load('test.npz')
非常快,0.014 秒完成,快的不符合预期…,但是理应非常快的for循环慢的不讲道理
二、原因
结论:
np.load
加载 npz
的时候,返回的数据类型是numpy.lib.npyio.NpzFile, 而不是以为的list of numpy。这是一个句柄,方便按需索取的句柄。只有使用key进行索引的时候才会从npz中加载对应的ndarray
详细:
- 首先, npz 是一个压缩包,里面包含了一个或者多个npy文件。是对保存npy的进一步泛化。
- 用户加载npz文件的时候 很多时候并不是真的想使用其中所有的ndarray,因此按需加载是非常合理的
- 所以最开始的时候np.load并没有真的加载数据,因此很快
- 问题代码中,在for-loop中使用key进行索引,那么每一个循坏都会导致重复load数据,因此很慢
正确的使用方式如下
arr_dict = np.load('test.npz') # npz 100MB
kp_array = arr_dict['keyPoints']
for i in range(1000):
a = kp_array[i]