语言判断中文、日文等(langdetect和langid)
注:语言类型主要参考的是ISO 639-1语言编码标准,详见ISO 639-1百度百科
个人使用感受:langdetect主要是看首字符是什么语言就是什么语言,当然,可以取比例最高的,而langid是取得占比最高的语言
#方法一:langdetect
#这是直接看是什么语言的
from langdetect import detect
#这是看各个语言的占比
from langdetect import detect_langs
s1 ="how are you:中文中文中文中文中文中文중국어dsds中国語中国語中国語"print(detect(s1))
print(detect_langs(s1))
结果:
en # 英文
[en:0.4285710541309797, zh-cn:0.4285702310485093, cy:0.1428561681475863] # 这里是所探测的句子中包含的比例及其所占的比例。
#方法二:langid
import langid
s3 = "how are you:中文中文中文中文중국어dsds中国語中国語中国語"
print(langid.classify(s3)) # langid.classify(s3)输出探测出的语言类型及其confidence score,其confidence score计算方式方法见:https://jblevins.org/log/log-sum-exp
结果:
('zh', -330.6410880088806) # 中文