今天去听infoQ的百度和豆瓣架构师分享Web开发的艺术
豆瓣的哥们不错。
其中说:mogilfFS不适合做??, 是他们开发BeansDB的动力。
他们也用了mfs存储日志,他说mfs可以和hadoop一起???
其实个人觉得它们对beansDB的需求(做小文件存储,总共12T左右,metaData??个)完全可以用mfs满足.
我问了一下这位哥哥,他说mfs的mds可能承受不了压力,还有当文件数量大了,可能mds放不下
但是我看他们的BeansDB所承受的压力大约是90hit/s,mfs的mds是可以承受的。
mfs master:
The master server should have approximately 300 MiB of RAM allocated to handle 1 million files on chunkservers.
这么说:3G可以10 M文件
内存用16G,大概可以搞4千万个文件
BeansDB的一个好处是不需要中心服务器,只有client和chunkserver,蛮有意思的,client通过一个算法,从文件名,映射到所在的服务器(采用类似memcached的去中心化结构,在客户端实现数据路由 ),有冗余
使用memcache协议存取。
这哥们建议不要搞多机房,而是搞一个环境比较好的机房,因为维护简单。不需要同步。--确实