Token的类型
enum TokenTypes {
_EOF,
UNKNOWN,
ALPHANUM, 为字母和数字
APOSTROPHE, 标点符号
ACRONYM, 首字母缩略词
COMPANY, 公司AT&T.
EMAIL,
HOST,
NUM,
CJK 中日韩文字
};
Token的类型
enum TokenTypes {
_EOF,
UNKNOWN,
ALPHANUM, 为字母和数字
APOSTROPHE, 标点符号
ACRONYM, 首字母缩略词
COMPANY, 公司AT&T.
EMAIL,
HOST,
NUM,
CJK 中日韩文字
};