根据客户端或namenode的调度存储和检索数据,并且定期向namenode发送所存储的块(block)的列表
数据块在DataNode进程所在的节点上以文件的形式存储在本地磁盘上
一个是数据本身
一个是元数据(数据块的长度,块数据的校验和,以及时间戳)
DataNode工作机制
datanode启动时,每个datanode对本地磁盘进行扫描,将本datanode上保存的block信息汇报给namenode 。namenode在接收到的block信息以及该block所在的datanode信息等保存在内存中。 DataNode启动后向NameNode注册,通过后周期性地向NameNode上报所有的块信息