part 四、如何进行ABtest试验效果分析
1、运营常见的ABtest
补贴方式:200-20和300-30那个好?
触达方式:PUSH和短信那个点击更高?
文案方式:那种文案更吸引用户打开内容
推送时间:什么时机给用户推送转化率更高
运营位:不同运营位卖什么品类的东西效果更好
2、ABtset注意事项:
空白组和对照组要符合样本相似性;
每次对照仅有一个变量;
无偏性;(符合正态分布)
随机性;(随机抽取的系统设置 MD5+ming)
3、如何进行ABtest的结果分析
事项方向:
优秀的分析师: 分析之 业务能力,多思考多努力,分析最终
得出好的结论;
分析报告:
1、目录
2、结构图(维度划分,每个维度再细分)
3、每个维度1,2,3的可视化及结论(不是浅显的描述,而是符合逻辑的可靠的有用的结论)
产品分析:
part1:产品的基础知识
1、什么是产品
规划、设计产品、对产品研发过程的控制、最终把产品 ‘卖 ’出去
的一个过程;
产品的工作内容:
产品定义
需求调研
业务建模
产品验收
线上运营
2、产品的种类
B段产品、C段产品
3、产品的工作内容
定义产品业务的边界、即这个 产品要解决什么问题?不解决什么问题;
明确使用价值:即这个产品的使用价值在哪,别人为什么使用你的产品
搜索商业模式:这个产品究竟怎么样挣钱?
用户需求调研
竞品分析
设计产品原型图
产品测试验收与线上运营
part2:数据分析师如何辅助产品团队
1、提供日常数据支持
产品功能的数据监控
功能异常的数据监控
核心路径的漏斗监控
2、进行ABtest实验
产品版本迭代实验
产品功能优化实验
产品页面样式调整实验
3、竞品分析
竞对功能差异对比分析
4、产品发版&功能迭代效果分析
发版评估报告
功能迭代效果分析
part3、通通过数据埋点获取行为数据
1、什么是埋点?
埋点,即数据采集领域(尤其是用户行为采集领域)的术语,
指的针对特定用户行为或事件进行捕获、处理和发送相关技术及
其实施过程;比如 用户某个icon点击次数,观看某个视频的时
长等;
特别注意:需要明确时间发生时间点、判别条件、这里如果遇
到不清楚的,需要和开发沟通清楚,避免采集数据与理想存在
差异。 例如:期望采集某个APP的某个广告的有效曝光数、有
效曝光的判别条件是 停留时长超过1秒且有效加载出广告内容。
2、埋点的类型?
客户端埋点:
相当不准确,供参考;
优点:
能够收集页面展示,点击行为。
可以收集不需要请求服务器的数据,如音乐的本地播放,页面停留时长等。
缺点:
由于数据上报需要网络,党勇于产生行为而没有网络时,则会延迟上报数据,影响数据的实时性。工具性产品尤其强烈。
如果用户删除自己的app操作记录,或者无网络连接时存储达到上限,则会造成数据丢失,影响数据的完整性。
当需要改变埋点时,需要更新版本才行,但是会存在有些用户不更新版本的情况,影响数据质量。
服务端埋点:
优点:
实时性好:实时收集,数据准确,不存在延时上报;
变更成本小:当需要改变埋点时,只需改变,上报数据就会改变;
能够收集不在APP内发生的行为,只要请求服务器就行,二客户端只能收集在客户端中的操作行为,如统计从其他app引流的安装量。
缺点:
不能收集不需要请求服务器的数据;
用户没联网的时候不能够采集数据。
3.埋点方案:
分析师如何设计埋点:
以大众点评app增加拍视频 功能为例:
1、明确产品形态,梳理数据需求
a.该功能的使用情况(uv,pv,使用过程漏斗) #漏斗是一种方法论或者一种思维方式;
b.(功能的结果侧的东西)生产的视频情况(视频数,视频的互动情况),是否能实现促进内容生产带动社区氛围的目标。
2、数据需求转化为指标&埋点,并与开发进行讨论
a.功能使用UV、PV
b.对其他功能的影响
c.拍摄流程的转化漏斗
d.视频的播放,点赞,评论,收藏的情况
e 视频归属的商户类型,明确用户是否偏向于某个类型的拍摄
3、新版本上线
按照预期进行数据分析,产品迭代复盘。数据分析过程,注意查看是否与预期相符,是否有优化点。
part4、竞品产品功能对比案例
1、搜索结果列表页
2、商品详情页
两个app对比分析:
常见app的的:
搜索框,筛选条件,常用标签,筛选项,缩略介绍,突出显示内容;
具体如:
搜索框部分:皮肤不同,图表不同,多了一个下拉菜单,搜索栏里多了城市定位;
筛选条件部分:飞猪了距离选项;
常用标签部分:飞猪比美团多了热门品牌,2天总价,暑假特惠等分类标签;
缩略介绍部分:图片不同,飞猪图片美观,价格不同,飞猪还表噢哟每晚均价。
3、商品详情页
总结: