1.mapreduce分为哪两个阶段
map和reduce
2.谈谈你对这两个阶段的理解
map进行数据分割,reduce聚合
3.谈谈你对shuffle的理解
洗牌,将相同key值放在一起
4.运行wordcount案例跑在yarn上,你会不?
会
5.mapreduce job跑在yarn的工作流程,简述
先向yarn提交作业申请一个applicationMaster在某个节点的container上,
然后applicationMaster反向向applicationManager注册,再向ResourceScheduler申请资源,
当拿到资源列表是,ApplicationMaster和相关的NM进行rpc通信要求启动container来运行task
6.谈谈对executor理解
执行器
7.executor是运行在RM节点上吗?
NM
8.APP master是运行在RM节点上吗?
DM
9.一般我们把dn和nm部署在同一节点上,目的是什么
数据本地化
10.yarn常用命令哪些?
可以--hlep查看
11.调度器有哪几种,博客整理了没
先进先出,公平计算