HDFS文件读写流程(一)

文件写入过程

在这里插入图片描述

详细步骤解析:

  1. client 发起文件上传请求,通过RPC与NameNode建立通讯,NameNode检查目标文件是否已存在,父目录是否存在,返回是否可以上传;
  2. client 请求第一个 block 该传输到哪些DataNode服务器上;
  3. NameNode 根据配置文件中指定的备份数量以及机架感知原理进行文件分配,返回可用的DataNode 的地址如:A , B , C;
  4. client 请求3台DataNode中的一台A上传数据 (本质上是一个RPC调用,建立 pipeline),A 收到请求会继续调用B,然后B调用C,将整个pipeline 建立完成,后逐级返回client;
  5. client 开始往 A 上传第一个block(先从磁盘读取数据放到一个本地内存缓存),以packet为单位(默认64K),A 收到一个packet 就会传给B,B传给C;A每传一个packet会放入一个应答队列等待应答
  6. 数据被分割成一个个packet数据包在pipeline上依次传输,在pipeline反方向上,逐个发送ack(命令正确应答),最终由pipeline 中第一个DataNode节点A将pipelineack发送给client
  7. 关闭写入流
  8. 当一个block传输完成后,client再次请求NameNode上传第二个block到服务器

看完记得点赞哦,=,=

发布了13 篇原创文章 · 获赞 30 · 访问量 1552

猜你喜欢

转载自blog.csdn.net/weixin_45746679/article/details/102908961