版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/someby/article/details/88742499
目录
spark1.x Iterable和2.x iterator
本篇文章将记录用户访问session分析-session随机抽取之本地测试。
本地测试问题很多,下面就记录一下。
修改表结构
table session_aggr_stat
//删除主键 alter table session_aggr_stat drop primary key; //设置索引 alter table session_aggr_stat add index idx_task_id (task_id); //设置字段默认类型 alter table session_aggr_stat change task_id task_id int(11) NULL;
session_random_extract
//删除主键 mysql> alter table session_random_extract drop primary key; //设置索引 mysql> alter table session_random_extract add index idx_task_id (task_id); //设置task_id默认为空 mysql> alter table session_random_extract change task_id task_id int(11) NULL;
session_detail
//删除主键 mysql> alter table session_detail drop primary key; //添加索引 mysql> alter table session_detail add index idx_task_id (task_id); mysql> alter table session_detail add index idx_session_id (session_id); //设置task_id默认为空 mysql> alter table session_detail change task_id task_id int(11) NULL;
top10_category
//删除主键 mysql> alter table top10_category drop primary key; //设置索引 mysql> alter table top10_category add index idx_task_id (task_id); //设置task_id默认为空 mysql> alter table top10_category change task_id task_id int(11) NULL;
top10_category_session
//删除主键 mysql> alter table top10_category_session drop primary key; //设置索引 mysql> alter table top10_category_session add index idx_task_id (task_id); //设置task_id默认为空 mysql> alter table top10_category_session change task_id task_id int(11) NULL;
spark1.x Iterable和2.x iterator
spark
1
.x中的Iterable对象变成了spark2.x中的Iterator对象
相应的,对于返回值为list的RDD, spark2.x中要返回list.iterator()