moosefs介绍
MooseFS[MFS]是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源。
MFS文件系统的组成
1.元数据服务器:在整个体系中负责管理管理文件系统,目前MFS只支持一个元数据服务器master,这是一个单点故障,需要一个性能稳定的服务器来充当。希望今后MFS能支持多个master服务器,进一步提高系统的可靠性。
2.元数据日志服务器:备份master服务器的变化日志文件,文件类型为changelog_ml.*.mfs。当元数据服务器数据丢失或者损毁,可从日志服务器取得文件进行恢复。
3.数据存储服务器chunkserver:真正存储用户数据的服务器。存储文件时,首先把文件分成块,然后这些块在数据服务器chunkserver之间复制(复制份数可以手工指定,建议设置副本数为3)。数据服务器可以是多个,并且数量越多,可使用的“磁盘空间”越大,可靠性也越高。
4.客户端:使用MFS文件系统来存储和访问的主机称为MFS的客户端,成功挂接MFS文件系统以后,就可以像以前使用NFS一样共享这个虚拟性的存储了。
MFS工作过程
1.客户端向元数据服务器发出读请求
2.元数据服务器把所需数据存放的位置(Chunk Server的IP地址和Chunk编号)告知客户端
3.客户端向已知的Chunk Server请求发送数据
4.Chunk Server向客户端发送数据
5.客户端向元数据服务器发送写入请求
6.元数据服务器与ChunkServer进行交互,但元数据服务器只在某些服务器创建新的分Chunks,创建成功后由hunk Servers告知元数据服务器操作成功
7.元数据服务器告知客户端,可以在哪个Chunk Server的哪些Chunks写入数据
8.客户端向指定的Chunk Server写入数据
9.该Chunk Server与其他Chunk Server进行数据同步,同步成功后Chunk Server告知客户端数据写入成功
10.客户端告知元数据服务器本次写入完毕
mfs安装部署
[root@server5 ~]# yum install -y moosefs-cgi-3.0.97-1.rhsysv.x86_64.rpm moosefs-cgiserv-3.0.97-1.rhsysv.x86_64.rpm moosefs-master-3.0.97-1.rhsysv.x86_64.rpm
[root@server5 mfs]# /etc/init.d/moosefs-master start
Starting mfsmaster: [ OK ]
[root@server5 mfs]# netstat -antp
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:9419 0.0.0.0:* LISTEN 1103/mfsmaster
tcp 0 0 0.0.0.0:9420 0.0.0.0:* LISTEN 1103/mfsmaster
tcp 0 0 0.0.0.0:9421 0.0.0.0:* LISTEN 1103/mfsmaster
[root@server5 mfs]# /etc/init.d/moosefs-cgiserv start
Starting mfscgiserv: [ OK ]
[root@server5 mfs]# netstat -antp
LISTEN 1103/mfsmaster
tcp 0 0 0.0.0.0:9425 0.0.0.0:*
测试浏览器访问:
出新报错,进行本地解析:刷新页面
[root@server5 mfs]# vim /etc/hosts
172.25.60.5 server5