离线评估指标用于预估模型上线前在整个推荐系统中能达到的效果。常见的离线评估指标可以分为两大类:
准确度指标:评估推荐系统的最基本的指标,衡量的是指标推荐算法在多大程度上能够准确预测用户对推荐商品的偏好程度,可以分为分类准确度指标、预测评分准确度指标、预测评分指标关联。
非准确度指标:在推荐系统达到一定的准确度之后,衡量推荐系统丰富度和多样性等的指标。
其中预测分类准确度指标包含:
AUC
准确率(Accuracy)
精确率(Precision)
召回率(Recall)
F-measure值。
预测评分准确度指标包含:
平均绝对误差(MAE)
均方误差(MSE)
均方根误差(RMSE)
预测评分关联指标包含:
皮尔逊积距相关系统
斯皮尔曼等级相关系数
肯德尔等级相关系数
预测排序准确度指标包含:
评价排序分
非准确度的指标包含:
多样性
新颖性
惊喜度
覆盖率
信任度
实时性
健壮性
商业目标