用户访问session分析模块
用户访问session介绍:
- 用户在电商网站上,通常会有很多的点击行为:
- 首先通常都是进入首页;
- 然后可能点击首页上的一些商品;
- 点击首页上的一些品类;
- 随时在搜索框里面搜索关键词;
- 将一些商品加入购物车;
- 对购物车中的多个商品下订单;
- 最后对订单中的多个商品进行支付。
- 用户的每一次操作,其实可以理解为一个action,比如点击、搜索、下单、支付
- 用户session,指的就是,从用户第一次进入首页,session就开始了。然后在一定时间范围内,直到最后操作完(可能做了几十次、甚至上百次操作)。离开网站,关闭浏览器,或者长时间没有做操作;那么session就结束了。
- 以上用户在网站内的访问过程,就称之为一次session。简单理解,session就是某一天某一个时间段内,某个用户对网站从打开/进入,到做了大量操作,到最后关闭浏览器。的过程。就叫做session。
- session实际上就是一个电商网站中最基本的数据和大数据。那么大数据,面向customer端,消费者,用户端的分析。
模块的目标:对用户访问session进行分析
- 可以根据使用者指定的某些条件,筛选出指定的一些用户(有特定年龄、职业、城市);
- 对这些用户在指定日期范围内发起的session,进行聚合统计,比如,统计出访问时长在0~3s的session占总session数量的比例;
- 按时间比例,比如一天有24个小时,其中12:00~13:00的session数量占当天总session数量的50%,当天总session数量是10000个,那么当天总共要抽取1000个session,ok,12:00~13:00的用户,就得抽取1000*50%=500。而且这500个需要随机抽取。
- 获取点击量、下单量和支付量都排名10的商品种类
- 获取top10的商品种类的点击数量排名前10的session
- 开发完毕了以上功能之后,需要进行大量、复杂、高端、全套的性能调优
- 十亿级数据量的troubleshooting(故障解决)的经验总结
- 数据倾斜的完美解决方案
- 使用mock(模拟)的数据,对模块进行调试、运行和演示效果
将session做成表,表的数据结构介绍
表名:user_visit_action(Hive表)
date:日期,代表这个用户点击行为是在哪一天发生的
user_id:代表这个点击行为是哪一个用户执行的
session_id :唯一标识了某个用户的一个访问session
page_id :点击了某些商品/品类,也可能是搜索了某个关键词,然后进入了某个页面,页面的id
action_time :这个点击行为发生的时间点
search_keyword :如果用户执行的是一个搜索行为,比如说在网站/app中,搜索了某个关键词,然后会跳转到商品列表页面;搜索的关键词
click_category_id :可能是在网站首页,点击了某个品类(美食、电子设备、电脑)
click_product_id :可能是在网站首页,或者是在商品列表页,点击了某个商品(比如呷哺呷哺火锅XX路店3人套餐、iphone 6s)
order_category_ids :代表了可能将某些商品加入了购物车,然后一次性对购物车中的商品下了一个订单,这就代表了某次下单的行为中,有哪些
商品品类,可能有6个商品,但是就对应了2个品类,比如有3根火腿肠(食品品类),3个电池(日用品品类)
order_product_ids :某次下单,具体对哪些商品下的订单
pay_category_ids :代表的是,对某个订单,或者某几个订单,进行了一次支付的行为,对应了哪些品类
pay_product_ids:代表的,支付行为下,对应的哪些具体的商品
user_visit_action表,其实就是比如说网站,或者是app,每天的点击流的数据。可以理解为,用户对网站/app每点击一下,就会代表在这个表里面的一条数据。
这个表,其实进行了某些改造和简化,真实的电商企业中,使用的基础数据表的结构,绝对是至少是这个表的10倍复杂度以上。
表名:user_info(Hive表)
user_id:其实就是每一个用户的唯一标识,通常是自增长的Long类型,BigInt类型
username:是每个用户的登录名
name:每个用户自己的昵称、或者是真实姓名
age:用户的年龄
professional:用户的职业
city:用户所在的城市
user_info表,实际上,就是一张最普通的用户基础信息表;这张表里面,其实就是放置了网站/app所有的注册用户的信息。那么我们这里也是对用户信息表,进行了一定程度的简化。比如略去了手机号等这种数据。因为我们这个项目里不需要使用到某些数据。那么我们就保留一些最重要的数据,即可。
表名:task(MySQL表)
task_id:表的主键
task_name:任务名称
create_time:创建时间
start_time:开始运行的时间
finish_time:结束运行的时间
task_type:任务类型,就是说,在一套大数据平台中,肯定会有各种不同类型的统计分析任务,比如说用户访问session分析任务,页面单跳转化率统计任务;所以这个字段就标识了每个任务的类型
task_status:任务状态,任务对应的就是一次Spark作业的运行,这里就标识了,Spark作业是新建,还没运行,还是正在运行,还是已经运行完毕
task_param:最最重要,用来使用JSON的格式,来封装用户提交的任务对应的特殊的筛选参数
task表,其实是用来保存平台的使用者,通过J2EE系统,提交的基于特定筛选参数的分析任务的信息,就会通过J2EE系统保存到task表中来。之所以使用MySQL表,是因为J2EE系统是要实现快速的实时插入和查询的。
大数据平台架构
- 终端用户/平台的使用者可以通过J2EE平台,提交一个创建任务的请求,进入任务创建页面,填写任务参数,提交各种不同类型的统计分析任务;然后可以查询自己提交的任务列表, 任务运行结束后,点击对应的链接,查看结果数据的展示图表和报表。
- J2EE平台会将用户提交的任务信息插入到MySQL中的task表中去。MySQL数据库里包含了各种业务需要使用的表
- J2EE平台在将任务信息保存到MySQL表中后,就会用Runtime、Process等API去执行一个封装了spark-submit命令的linux shell脚本。(提交之后就会设置task的开始时间,如果监控到spark作业结束,那么就会设置task的结束时间,同时会维护任务状态)
- 封装了spark-submit命令的shell将执行Spark作业的jar包提交到Spark Standalone集群上去运行;YARN集群上去运行(Spark作业)
- Spark作业在运行时的第一件事情,就是从MySQL的task表中,读取本任务需要使用的一些筛选参数,比如年龄范围。。。
- 在spark作业运行过程中,或者运行完之后,会将统计分析的结果数据,插入到MySQL中,对应的表里面去。以供J2EE平台在后面展示这些数据。
- J2EE平台从MySQL业务表中读取结果数据,封装为对应的JSON数据格式,并返回前端页面,展示(一种是表格;另外一张是图表,比如说柱状图、饼状图、折线图等。。。)