版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/weixin_39198406/article/details/81709397
工作中数据清洗时遇到以下情况:
a = '{"地区": "湖南", "描述": "精通软件开发、"数据挖掘"和分布式"}'
由于读取出的json字符串中包含有非法双引号,在使用json.loads()
处理的时候报错
json.decoder.JSONDecodeError: Expecting ',' delimiter: line 1 column 29 (char 28)
写了大半个小时的正则都无法解决
后来使用如下方法解决了,一并把json字符串中的换行符、分隔符和双引号都转义了
def deal_json_invaild(data):
data = data.replace("\n", "\\n").replace("\r", "\\r").replace("\n\r", "\\n\\r") \
.replace("\r\n", "\\r\\n") \
.replace("\t", "\\t")
data = data.replace('": "', '&&testPassword&&')\
.replace('", "', "$$testPassword$$")\
.replace('{"', "@@testPassword@@")\
.replace('"}', "**testPassword**")
print(data)
data = data.replace('"', r'\"')\
.replace('&&testPassword&&', '": "').replace('$$testPassword$$', '", "').replace('@@testPassword@@', '{"').replace('**testPassword**', '"}')
print(data)
return data
测试如下:
a = deal_json_invaild(a)
json_data = json.loads(a)
> {"地区": "湖南", "描述": "精通软件开发、\"数据挖掘\"和分布式"}
此时转使用json.loads()
便不会报错了