从研究僧小白成为了职场小白,继续做着数据分析的事情,以后一定经常更新笔记,加油!!
工作以后遇到的数据量有点大,今天拿到行数超过1kw+的数据,python虽然能很好的读进去,但是很浪费时间,而且在后续清洗中内存会不够。还好pandas包里有分块读取数据的方法,代码如下:
其中还包含了数据分列的函数split
从研究僧小白成为了职场小白,继续做着数据分析的事情,以后一定经常更新笔记,加油!!
工作以后遇到的数据量有点大,今天拿到行数超过1kw+的数据,python虽然能很好的读进去,但是很浪费时间,而且在后续清洗中内存会不够。还好pandas包里有分块读取数据的方法,代码如下:
其中还包含了数据分列的函数split