核心:分布式存储和分布式计算
闲话:
底层基于socket通信
NIO——java异步io,不阻塞,不等待
bt——p2p软件(点对点传输,每个人既是上传者又是下载者。但是会占用大量网络带宽,所以很多运营商通过在交换机上封杀bt端口的方式来遏制bt软件占用流量)
关键:压缩算法
1、归档
很小的文件压缩后反而会变大。
但是如果有成千上万很小的文件,我们要对其进行压缩的话,就需要先归档
hadoop归档命令:har (har、tar、jar、war等表示压缩的文件,都以ar结尾,因为ar表示archives,归档)
大量很小的文件不能用hdfs存,因为大量小文件的文件名等文件信息会将hadoop 0层节点的内存全部耗光,而0层节点一般是master节点,内存耗光就会导致整个集群性能下降