评价方法
1.离线实验
通过日志获取用户的行为数据=>作为训练测试集
离线的评价指标=>预测准确率
缺点: 无法关注商业指标,点击率转化率
2.在线A/Btest
如何分桶分层？
3.评价指标
3.1 用户评价(e.g. 实际购买率 ctr等等)
3.2 预测准确度(离线实验 大部分的论文使用的评价指标)
3.3 评分预测
基于历史的评分,预测用户的评分(RMSE均方误差 MAE)
p43
TopN推荐
推荐的召回率 准确率的定义 recall = (Ru ∩ Tu) / Tu
一般会选取不同的推荐列表长度N,计算出一组准确率/召回率，然后画出准确率/召回率曲线
3.4 覆盖率
推荐列表不同物品出现次数的分布,分布均匀则说明推荐系统的挖掘长尾能力好
如何描述覆盖率? P44
e.g. 用户推荐列表里的所有商品 除以 所有的商品总数
e.g. 信息熵 p(i)是物品流行度除以(所有物品的流行度之和)
e.g. 基尼系数 (P44)
3.5多样性
如何定义多样性？ ==> 利用相似性 P46
S(i,j)定义物品i和物品j之间的相似度,
用户U的推荐列表的多样性: Diversity = 1 - 2 * ∑S(i,j) / |R(u)|*|R(u)-1|
离线实验的优化目标
最大化预测准确率。使得覆盖率,多样性,新颖性分别大于某个阈值
评测维度
定义:比如一个推荐算法,虽然整体性能不好,但可能在某种情况下性能比较好
e.g. 用户维度(可能新用户体验更好)
e.g. 时间维度(可能某个推荐算法在晚上表现更好)