python中pandas分块读取数据

从研究僧小白成为了职场小白,继续做着数据分析的事情,以后一定经常更新笔记,加油!!

工作以后遇到的数据量有点大,今天拿到行数超过1kw+的数据,python虽然能很好的读进去,但是很浪费时间,而且在后续清洗中内存会不够。还好pandas包里有分块读取数据的方法,代码如下:

其中还包含了数据分列的函数split

      

猜你喜欢

转载自www.cnblogs.com/chuang0104/p/11128138.html