大数据:RDD算子,filter,distinct,union,join,intersection,glom,groupByKey,sortBy,sortByKey

大数据:RDD算子

2022找工作是学历、能力和运气的超强结合体,遇到寒冬,大厂不招人,可能很多算法学生都得去找开发,测开
测开的话,你就得学数据库,sql,oracle,尤其sql要学,当然,像很多金融企业、安全机构啥的,他们必须要用oracle数据库
这oracle比sql安全,强大多了,所以你需要学习,最重要的,你要是考网络警察公务员,这玩意你不会就别去报名了,耽误时间!
与此同时,既然要考网警之数据分析应用岗,那必然要考数据挖掘基础知识,今天开始咱们就对数据挖掘方面的东西好生讲讲 最最最重要的就是大数据,什么行测和面试都是小问题,最难最最重要的就是大数据技术相关的知识笔试


大数据:RDD算子

在这里插入图片描述
反正用函数判断,返回true的
都会被保留
否则gg

x%2==0偶数
==1奇数

在这里插入图片描述
在这里插入图片描述
去重,骚啊
在这里插入图片描述
顺序不管,多分区独立,汇总,肯定没有顺序
不管
在这里插入图片描述
前拼后
在这里插入图片描述
不会去重
而且数据类型不同也可以合并
在这里插入图片描述
左外基本就够了
在这里插入图片描述
内连接这是

在这里插入图片描述
左边全部保留

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
glom就是嵌套
在这里插入图片描述
针对kv型,直接按照key分组
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
lambda就直接返回结果了
操作谁,你写清楚即可

在这里插入图片描述
混乱的结果
按照key还是value排序
排序

函数,告知spark,按照哪个列排序
lambda,取value,还是key排序
在这里插入图片描述
排序的分区
生产环境中,各自排序
分区间是无序的吧??

在这里插入图片描述
在这里插入图片描述


总结

提示:重要经验:

1)
2)学好oracle,即使经济寒冬,整个测开offer绝对不是问题!同时也是你考公网络警察的必经之路。
3)笔试求AC,可以不考虑空间复杂度,但是面试既要考虑时间复杂度最优,也要考虑空间复杂度最优。

猜你喜欢

转载自blog.csdn.net/weixin_46838716/article/details/131029680