python3 文本过滤与清理 处理文本成ASCII字符 encode()与decode()

将所有Unicode十进制数字字符,转换成ASCII版数字字符

import unicodedata ,sys
digitmap = {c:ord('0') + unicodedata.digit(chr(c))
            for c in range(sys.maxunicode)
            if unicodedata.category(chr(c)) == 'Nd'}
print(len(digitmap))
#print(digitmap)

x='\u0661\u0662\u0663'
print(x)
print(x.translate(digitmap))

运行结果如上。580,表示现在Unicode里面有580个数字字符(即58种1-10的表示方法)

将字符串处理成只有ASCII字符

import unicodedata ,sys

print()

a = 's\u00f1o'
print(a)
print(ascii(a))
b = unicodedata.normalize('NFD',a)
print(b)
print(ascii(b))

print()

result1 = a.encode('ascii','ignore').decode('ascii')
print(result1)
result = b.encode('ascii','ignore').decode('ascii')#这里的ascii可以改成你想处理成的任何编码格式
print(result)

运行结果如上。如果ñ是全组成的,那么就会被消掉。如果ñ是组合字符,那么只会去掉~符号。一般由于UTF-8使用方便,所以程序里面的ascii改成utf-8就可以了。

将字符串处理成只有UTF-8字符

def to_utf8(s):
    result = s.encode('utf-8','ignore').decode('utf-8')
    return result

encode()与decode()

str对象可以使用encode(XXX),返回bytes对象。此bytes对象,是根据字符和某种编码方式里面的对应关系(实际是该字符在该编码方式下存储的字节),即若干十六进制数。


比如这个“上”字,它用utf-8来存储,实际存储的是b'\xe4\xb8\x8a'。

用gbk来存储,实际存储的是b'\xc9\xcf'。

所以当你拿到了bytes对象,并且知道了这个某个字符串在计算机实际存储的字节,但你还得知道这是那种方式转换而来实际存储字节,知道到底这是utf-8还是gbk或者别的编码方式的实际存储方式。

bytes对象可以使用decode(XXX),返回str对象。根据实际存储的字节和某种编码方式,通过编码方式的对应关系,把存储字节转换为字符。


如图所示,b'\xe4\xb8\x8a'本来是utf-8的一条对应关系,但是gbk中却没有这条对应关系所以报错,而且这个可能也跟utf-8用三个字节来存储一个汉字,gbk只用两个字节来存储一个汉字有关。

总之,在对bytes对象使用decode(XXX)时,一定要搞清楚bytes对象是通过哪种编码方式来的(即encode(XXX)里的XXX),再使用同样的XXX。


猜你喜欢

转载自blog.csdn.net/anlian523/article/details/80508687