上一篇介绍了使用python自带的chardet检测文本使用的是何种语言,存在一个问题就是,很多时候chardet的输出是空,不是特别的好用。
这个时候可以使用google提供的一个开源语言检测软件包langdetect。个人在实际的使用过程中检测效果还是非常的不错,该软件包支持绝大多数的常见语种。链接这里:
如下示例检测文本是否是英文,输入为字节串:
def is_english(text):
from langdetect import detect
from langdetect import detect_langs
# 文本过短时,判断结果会不确定;让输出唯一,添加以下两行
from langdetect import DetectorFactory
DetectorFactory.seed = 0
try:
data = text.decode('utf-8')
# 判断语言种类
# 概率
print(detect_langs(data))
print(detect(data))
if detect(data) == 'en':
return True
except Exception as e:
print('is_english exception')
return False
可以看到输出的结果也是有概率的,当然为了只输出概率最大的那个语种,需要添加示例中的两行,如下:
from langdetect import DetectorFactory
DetectorFactory.seed = 0
如果没有这两行,输出可能会有多种可能。但是在后续的测试中发现,langdetect检测中文还是非常的不准确,例如使用’天津’这两个字符进行测试,得到的结果竟然是ko韩语,这误报率有点高,还是使用unicode码点正确率高。
本文为CSDN村中少年原创文章,转载记得加上小尾巴偶,博主链接这里。