文本分析-全角字符串与半角字符串的转换

版权声明:本文为博主原创文章,未经博主允许不得转载 https://blog.csdn.net/zhang__shuang_/article/details/82503225
最近在做文本分析与挖掘时,涉及到了全角字符串与半角字符串的转换问题。在文本处理的相关问题上,半角和全角字符通常是数据预处理的必要过程,在此做个学习总结。

全角指的是一个字符占2个标准字符的位置(例如中国汉字)。
半角指的是占1个标准字符的位置(例如普通的字符a)。

全角字符包含两类字符:

  1. 特殊字符:空格,它的全角值十进制整数为12288,十六进制为0x3000,而其半角十进制整数值为32,十六进制结果为0x20.
  2. 有规律的字符,这类字符的全角十进制整数范围为[65281,65374],十六进制[0xFF01,0xFF5E],半角十进制整数值[33,126],十六进制[0x21,0x7E].

除了空格外,有规律的字符在半角和全角之间的差值为65248,因此我们可以直接在全角数值上减去65248即可得到半角数值。

例如,全角字符串“0 0 5 2 7 8 2 5 C B D”转换为半角字符串的结果是“00527825CBD”。

注意:
并不是所有的全角字符都能被转换为半角字符,例如汉字是全角字符,占2个字符的位置,但它无法被转换;只有英文字母、数字键、符号键等才能可以做全角和半角之间的转换。

猜你喜欢

转载自blog.csdn.net/zhang__shuang_/article/details/82503225