概述:
此分享是关于Hadoop在网盘和在线备份的应用与挑战的汇总
汇总点:
前端应用负载均衡LVS/Ngnix/Jetty; 文件存储基于HDFS和MongoDB; Hbase合理设计RowKey 和 Pre-Sharding; Hbase充分利用Filter功能; 大文件基于HDFS,小文件基于MongoDB; Hadoop的NameNode采取人工切换模式;
MongoDB遵循:
尽量创建索引; 限定返回结果条数; Filter只返回需要的数据; 优化主键,尽量自己控制主健ID; UUID主键使用BinaryData数据类型存储; 文件大小不超过16M;
更多详情参见附件