以下是学习元数据与 数据治理的整个过程:包含技术总结和心里变化情况
以日志的形式进行汇总
2019.1.4 (第一天:接触需求)
需求定义
第一天 讲解需求( 数据仓库、元数据处理建设)
内心变化
片面的理解是关系型数据;
片面的理解是常规的增删改查询;
根据需求网上搜索相关资料接触 到Apache Atlas,对就是那么一眼,不过在后来的交流当中,领导也提到了这个插件,所以加深了他的印象
前期缺点 1.理解是有误区的 2.思路是混乱的 3.Apache Atlas是有抵触,看了下相当麻烦,主要以前涉及的技能点都没怎么用上,完全新的 领域
2019.1.7(第二天 搜集资料,确定系统定位)
探讨了项目每个系统的定位(好在有个 周六日,假期思考了下,将数据和api通过某种方式关联起来)
初步确定了方向(红线部分就是所需 要做的)
虽然思路理清楚,但是很多技术是接触不多的,心里对预期不是很有把握
2019.1.8 (第三天 搜索资料,了解各个名词概念)
开始网上搜索资料:正式开启,暂且决定Apache Atlas入手
看第一篇,看到hadoop这个词也就是文章的第一段,然后就百度开始搜索"Hadoop技术栈",引出了第二篇(朦胧的)、第三篇(渐渐明白概念意识)
看完之后自己简单构建了了个技术发展图(请看完以下文章后再仔细看图)
文章学习路线搜集: 由第一篇演化出不同的文章分支
元数据与数据治理|使用 Apache Atlas 进行数据治理 (第一篇)
元数据与数据治理|MapReduce统计词语出现次数(第五篇)
元数据与数据治理|Spark SQL结构化数据分析(第六篇)
元数据与数据治理|Intellij IDEA提交远程Hadoop MapReduce任务(第八篇)
2019.1.9 (第四天 安装 Apache Atlas )
下午开始安装 Apache Atlas,中间 穿插做了下其它工作
开始写安装 步骤
2019.1.10 (第四天 完成安装 Apache Atlas )
完成Apache Atlas的安装,安装文章初步写完,安装文件准备ok(暂未上传)
元数据与数据治理|Apache Atlas安装过程详解(初步版本)
元数据与数据治理|Apache Atlas API使用入门(第十一篇)
来一张安装ok的图(明天继续)