爬取数据后,保存数据编码错误

爬取时没问题,保存时有问题。
源码如下:

import csv
list = ['房源名称','房源类型','房价信息','评价数量']
with open('./Data/test.csv','a+',newline='') as csvfile:
    w = csv.writer(csvfile)
    w.writerow(list)
    #写入多行
    w.writerows(rooms_message)

报错信息:

UnicodeEncodeError:'gbk' codec can't encode character '\u2022' in position 19: illegal multibyte sequence

修改方法:
将rooms_message中的每一个字符串都使用

.encode("gbk", 'ignore').decode("gbk", "ignore")

原因:
python3中字符串编码方式:

  1. str字符串:使用Unicode编码;
  2. bytes字符串:使用将Unicode转化成的某种类型的编码,如UTF-8、GBK;
  3. encode的作用是将Unicode编码转换成其他编码的字符串(python3中的字符串默认编码时str,也就是Unicode);
  4. 而decode的作用是将其他编码的字符串转换成Unicode编码。

因为不管html编码是啥格式,只要你爬下来后,python3已经默认它是Unicode。
所以先使用encode(“gbk”, ‘ignore’)将Unicode的编码转换“gbk”格式编码,而且忽略不能转换的字符(我觉的这是一个解码过程);
但你如果就这样保存数据,数据是一堆\xa0\xce\xa8…,根本不知道啥玩意儿;于是再用decode(“gbk”, “ignore”)编码一次,同样忽略不能编码的字符。(这是一个编码过程)

注意:

被encode的字符串不能在encode(被解过一次码的字符串不能在解码)
被decode的字符串不能在decode(被编过一次码的字符串不能在编码)

原创文章 24 获赞 45 访问量 3万+

猜你喜欢

转载自blog.csdn.net/weilixin88/article/details/103759085