本想已经把map reducer编好了,可却没成想今天确实怂了一路。
原因是没有彻底搞懂各个字段····而且也没人告我hive中数据的字段长度和hdfs的字段长度是不同的,而且我的程序时按照昨天在hive表中数的长度计量的,而且分隔符是“/001”,不是“/t”·····所以结果一直为空。。囧
后来慌慌的问前辈为什么只有uid后面跟奇怪的符号··点开reducer才发现是传个空,幸好前辈人够好而且不会java··不然我一定会被鄙夷的
日后一定要先看数据再写代码。还是数据敏感度低吧。。不过好歹是弄好了
<!--StartFragment -->这种情况是回滚,多执行几次
上午出现的数据倾斜,加了个combiner解决了
用matches匹配字符串
<!--StartFragment -->
a.matches(".*char.*") 匹配"char”
<!--StartFragment -->
a.matches(".*char.*|.*int.*") 匹配"char” "int"
我想自己已经开始承担假期中一天哭八遍的恶果了