MapReduce中的分布式缓存(DistributedCache)

1、简介

DistributedCache是Hadoop为MapReduce框架提供的一种分布式缓存机制,它会将需要缓存的文件分发到各个执行任务的子节点机器中,各个节点可以自行读取本地文件系统上的数据进行处理。

2、符号链接

可以在原本HDFS文件路径上+“ #somename”来设置符号连接(相当于一个快捷方式)。

这样在MapReduce程序中可以直接通过:

File file = new File("somename");

来获得这个文件。

3、注意事项

(1)需要分发的文件必须是存储在HDFS上了。默认的路径是hdfs://的,不是file://。

(2)文件只读。

(3)不缓存太大的文件,执行task之前会对文件进行分发,影响task的启动速度。

猜你喜欢

转载自blog.csdn.net/g1607058603/article/details/87970180