听讲座~百度和豆瓣架构师分享Web开发的艺术

今天去听infoQ的百度和豆瓣架构师分享Web开发的艺术

豆瓣的哥们不错。

其中说:mogilfFS不适合做??, 是他们开发BeansDB的动力。

他们也用了mfs存储日志,他说mfs可以和hadoop一起???

其实个人觉得它们对beansDB的需求(做小文件存储,总共12T左右,metaData??个)完全可以用mfs满足.

我问了一下这位哥哥,他说mfs的mds可能承受不了压力,还有当文件数量大了,可能mds放不下

但是我看他们的BeansDB所承受的压力大约是90hit/s,mfs的mds是可以承受的。

mfs master:

   The master server should have approximately 300 MiB of RAM allocated to handle 1 million files on chunkservers.

这么说:3G可以10 M文件

内存用16G,大概可以搞4千万个文件

BeansDB的一个好处是不需要中心服务器,只有client和chunkserver,蛮有意思的,client通过一个算法,从文件名,映射到所在的服务器(采用类似memcached的去中心化结构,在客户端实现数据路由 ),有冗余

使用memcache协议存取。

这哥们建议不要搞多机房,而是搞一个环境比较好的机房,因为维护简单。不需要同步。--确实

猜你喜欢

转载自idning.iteye.com/blog/641018