学习大数据可以从事很多工作,比如说:hadoop 研发工程师、大数据研发工程师、大数据分析工程师、数据库工程师、hadoop运维工程师、大数据运维工程师、java大数据工程师、spark工程师等等都是我们可以从事的工作岗位!不同的岗位,所具备的技术知识也是不一样的,需要从各个方向学习。
python大数据开发学习路线如下:
从传统关系型数据库入手,掌握数据迁移工具、BI数据可视化工具、SQL,对后续学习打下坚实基础。 学习感受: 新:本课程基于最新MySQL8.0,包含很多新特性 全:本课程涵盖了从入门到高阶几乎所有的MySQL知识模块,一站式学习。 深:本课程有大量篇幅来讲解MySQL的高阶部分,对于高阶知识点一挖到底。 细:本课程知识点讲解细腻,所有知识点模块的讲解都是实战操作。
学习Linux、Hadoop、Hive,掌握大数据基础技术,满足大数据开发行业的初级需求,可以从事ETL及Hive数仓工程师。
1、建立集团数据仓库,统一集团数据中心,把分散的业务数据集中存储和处理
2、项目从需求调研、设计、版本控制、研发、测试到落地上线,涵盖了项目的完整工序
3、挖掘分析海量用户行为数据,定制多维数据集合,形成数据集市,供各个场景主题使用。
Spark官方已经在自己首页中将Python作为第一语言,在3.2版本的更新中,高亮提示内置捆绑Pandas;课程完全顺应技术社区和招聘岗位需求的趋势,全网首家加入Python on Spark的内容;你将胜任Spark开发工程师、中级大数据工程师。
一、python基础
1,对于编程0基础的同学或者想把python作为第二门编程语言的同学十分适合。
2,生动形象,浅显易懂,清晰明了。
3,针对基础语法详细讲解,构建python编程的基础能力。
二、python进阶
1. 高效简介的授课风格, 用最短的时间清晰简介的讲解知识点, 只上干货!
2. 系统性的讲解Python进阶内容,为深入学习 数据分析和大数据 铺垫坚实的基础, 全网首发!
三、大数据spark3.2从基础到精通2022.05.20更新
基于Python语言的Spark教程!高效、快捷掌握Spark3.2必备知识,大大缩短Spark阶段学习时间。
四、大数据Hive+Spark离线数仓工业项目实战
一站制造项目基石与前瞻、数据仓库建模方法 离线数仓分层、Sqoop数据存采集、数仓ODS&DWD层建设、数仓DWS维度层建设、数仓DWB指标层建设、数仓ST主题层建设、一站制造任务调度、Prometheus概述 实现linux服务器监控 实现MySQL服务监控 实现Flink服务监控 Grafana监控看板。一站制造:运营ciss系统、oa系统、erp系统一体化智能制造大数据分析系统
五、大数据开源项目练习
1.BigData-Notes
首推 heibaiying 的 BigData-Notes,该项目目前已经有高达 10.2K 的star,正如该仓库的介绍上简短几个字:大数据入门指南。这个项目也是我认为目前最适合初学者学习和参考的项目。
项目链接:https://github.com/heibaiying/BigData-Notes
2.awesome-bigdata
这个项目比较特殊,是一个国外开发者开源的项目,英文翻译过来的意思是“很棒的大数据”,实际上呢~他列举的是很多很棒的大数据框架、资源和其他很棒的精选列表。灵感来自 awesome-php、awesome-python、awesome-ruby、hadoopecosystemtable和big-data。目前也已经斩获 10.2K 的 star,非常强势。
项目链接:https://github.com/0xnr/awesome-bigdata
3.Flink-learning
显而易见,这个是专注与 flink 学习的开源项目,其中的内容包含Flink 入门、概念、原理、实战、性能调优、源码解析等等,目前已经斩获了 10.5k 的 star,非常强势。
项目链接:https://github.com/zhisheng17/flink-learning
六、还有一些针对性的网站
大数据/AI智能
学习数据挖掘、机器学习的好网站,写的很全面很系统,适合各个级别的高手
- analyticsvidhya https://www.analyticsvidhya.com/blog/2017/02/top-28-cheat-sheets-for-machine-learning-data-science-probability-sql-big-data/
里面蕴含编程语言、机器算法、大数据等,内容巨丰富
- learn cord the hard way https://learncodethehardway.org/python/
学习Python语言的网站,内容详实
机器学习网站
- Analytics Vidhya https://www.analyticsvidhya.com/
- 中国商业智能网
http://www.chinabi.net/ - 大数据中国
http://www.bigdatas.cn/forum.php - 雷锋网
https://www.leiphone.com/