文件系统
为什么需要
用户读取数据需要看到真实的数据,而不是0101010101010101……
功能
管理文件系统
构造文件结构
文件共享
数据保护
一组操作
文件系统 ->网络文件系统 ->分布式文件系统
传统存储 - 文件系统
windows
NTFS
FAT32
FAT16
linux
EXT2
EXT3
EXT4
BTRFS
ZFS
XFS
网络存储架构
NAS:提供给用户文件服务 NFS.CIFS协议 FS:file system
SAN:iscsi实验,提供给用户磁盘
分布式文件系统
google:gfs
开源:hdfs
部署在集群中
需要解决的一些问题
并发控制:a用户读取m文件不可以影响b用户读取m文件 `hdfs解决:任何时间仅支持一个用户写入同一个文件`
容错:保证文件服务在服务端出现问题时依旧正常使用 `hdfs解决:具有多副本机制和故障自动检测、恢复机制`
可伸缩性:支持节点动态加入or退出 `hdfs解决:建立在大规模廉价机器的分布式文件系统集群,伸缩性极强`
安全:保障系统安全 `hdfs解决:安全性不强`
硬件与操作系统兼容性: `hdfs解决:支持不同操作系统实现server/client程序` hdfdfs解决:`采用java开发,支持跨平台`
透明性:具备访问,位置,伸缩等的透明性 `hdfs解决:只提供一定程度的访问透明性,完全支持位置,伸缩等的透明性`
HDFS块
默认一块64MB,以块作为存储单位
三个好处
支持大规模文件存储
适合数据备份
简化系统设计 元数据不与数据块一块存储
分级文件体系
hdfs使用传统的分级文件体系
可以像使用普通文件系统一样,增删改查文件
命名空间管理
包含目录,文件,块
采用主从模型
名称节点
:作为中心服务器,了解文件系统的命名空间及客户端对文件的访问
数据节点
:负责处理文件系统客户端的读/写请求,在名称节点的统一调度下进行数据块的增删改查操作
Linux默认4kb
e概念
体系结构