datstage处理文本文件中存在多余换行符的数据

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/bfhai/article/details/78626463

在使用ds读取文件时可能会遇到字段中包含换行符的情况,在并行作业中并没有内置的方法来处理这中情况。ds读取文件的时候是根据行尾字符来定位一行是否结束,它一次读取一行数据,然后解析这些列。

解决此问题的几个解决方法是:
•使用并行作业中的Extend Source组件,用sed、awk等预处理文件,将文件中多余的换行符处理掉
•使用作业中的预处理功能,调用脚本或其他自定义程序将文件提前清洗一次。

猜你喜欢

转载自blog.csdn.net/bfhai/article/details/78626463