一、项目需求
数据交接过程中遇到格式转换的问题,我手上的是txt数据,对方需要的是mat数据,且数据格式要求按照“纬度、经度,高度”排列,而我的txt文件数据格式为“经度,纬度,高斯坐标Y,高斯坐标X,高度”,如下图。
之前没有接触过mat格式的我傻傻地以为改个后缀名就完事了,事实并非如此,百度百科解释如下:
mat文件是matlab的数据存储的标准格式。mat文件是标准的二进制文件,还可以ASCII码形式保存和加载,在MATLAB中打开显示类似于单行EXCEL表格。
二、解决方案
显而易见,肯定用matlab可以完成转换过程,但是,matlab并不熟练的我尝试了一下,导入、清洗、换列、存储…效率贼低,然而我有数十个文件需要转换,遂弃matlab投python。
基本功能:同一目录下所有txt文件转换为mat文件,并就地存储在该目录下。
定制功能:按列进行数据读取,两列数据互换
若只使用基本功能,则删除20行“, usecols=(0, 1, 4)”,以及删除或注释21行。
# File :txt2mat.py
# Author :WooChi
# Time :2021/11/29
# Function :'txt转mat
# Version :
import os
import time
import numpy as np
import scipy.io as sio
def txt2mat(inpath):
'''txt转mat(涉及列之间的交换、当前路径与工作路径转换、获取当前路径下文件列表并进行判断以及批处理)'''
path_origin = os.getcwd() # 当前路径
os.chdir(inpath) # 切换到工作路径
for file in os.listdir(): # 读取工作路径下的文件列表
if file[-3:] == "txt": # 判断文件格式
outname = file[:-4] + '.mat' # 创建mat文件名
data = np.loadtxt(file, delimiter=',', usecols=(0, 1, 4)) # 按列进行数据读取
data[:, [0, 1]] = data[:, [1, 0]] # 两列数据互换
sio.savemat(outname, {
'data': data}) # 保存为mat文件
print(file + '-->' + outname + '\tSuccessfully!') # 日志输出
os.chdir(path_origin) # 切回当前路径
def run():
'''输入+运行+计时'''
t_start = time.time()
inpath = 'D:/Program Files/JetBrains/PycharmProjects/BathymetricDepthModel/output/20190222'
txt2mat(inpath)
# <editor-fold desc="time output">
t_consume = time.time() - t_start
h = t_consume // 3600
m = (t_consume - h * 3600) // 60
s = t_consume - h * 3600 - m * 60
print('---------------------------------------------------')
print('Time consuming: %d hours %d minutes %.3f seconds' % (h, m, s))
print('---------------------------------------------------')
# </editor-fold>
if __name__ == '__main__':
run()
日志输出:
转换前:
转换后:
matlab打开mat文件,验证无误。