检查一段文字是何种语言-通过谷歌langdetect进行判断

上一篇介绍了使用python自带的chardet检测文本使用的是何种语言,存在一个问题就是,很多时候chardet的输出是空,不是特别的好用。

这个时候可以使用google提供的一个开源语言检测软件包langdetect。个人在实际的使用过程中检测效果还是非常的不错,该软件包支持绝大多数的常见语种。链接这里

如下示例检测文本是否是英文,输入为字节串:

def is_english(text):
    from langdetect import detect
    from langdetect import detect_langs
    # 文本过短时,判断结果会不确定;让输出唯一,添加以下两行
    from langdetect import DetectorFactory
    DetectorFactory.seed = 0

    try:
        data = text.decode('utf-8')
        # 判断语言种类
        # 概率
        print(detect_langs(data))
        print(detect(data))
        
        if detect(data) == 'en':
            return True
            
    except Exception as e:
        print('is_english exception')
    
    return False

可以看到输出的结果也是有概率的,当然为了只输出概率最大的那个语种,需要添加示例中的两行,如下:

from langdetect import DetectorFactory
DetectorFactory.seed = 0

如果没有这两行,输出可能会有多种可能。但是在后续的测试中发现,langdetect检测中文还是非常的不准确,例如使用’天津’这两个字符进行测试,得到的结果竟然是ko韩语,这误报率有点高,还是使用unicode码点正确率高。

本文为CSDN村中少年原创文章,转载记得加上小尾巴偶,博主链接这里

发布了132 篇原创文章 · 获赞 183 · 访问量 28万+

猜你喜欢

转载自blog.csdn.net/javajiawei/article/details/95061142