Hadoop两种扩容方式
1、横向扩容(增加datanode节点数)
①、克隆之前配置好的从属机,修改静态ip地址,在namenode机上配置hosts文件,将新的从属机IP地址映射加入进去
②、因为hadoop支持热部署,可以在已经启动的情况下在slaves文件中加入hadoop03,然后在从属机上手动启动datanode进程,namenode会自动监听slaves中每个从属机的进程状态,启动之后会自动加入到livenodes中去。也可以在服务启动之前就加入到slaves中去,启动服务时会自动启动所有从属机的datanode进程。
2、纵向扩容(增加datanode的存储容量)
①、给datanode虚拟机增加一块硬盘,重启虚拟机以加载硬盘。
②、进入到 /dev文件夹下 ,使用 ll |grep sd 命令可以看到有新增一个sdb,这就是新加的硬盘的配置文件
使用fdisk对sdb进行配置
1> fdisk sdb //进入配置菜单 输入m可以查看命令提示
2>n //添加分区
3>p //添加的分区类型为主分区
4>1 //第几个主分区
5>直接按回车 //从第几个扇区开始 默认是2048
6>直接回车 //分配的大小 默认是全部
7>w //保存修改并退去配置菜单
8> ll |grep sd //再次查看,如果多出一个sdb01标明配置完成
③、新建一个文件夹,将新磁盘配置的分区和该文件夹绑定(挂载)
1>临时挂载,重启之后会失效,使用 mount /dev/sdb1 /sdb1
↑ ↑
要绑定的分区文件位置 要绑定的文件夹的位置
2>永久挂载,重启之后也不会失效
vim /etc/fstab
最下方加入一行代码
/dev/sdb1 /sdb1 xfs defaults 0 0 //添加配置
分区位置 文件夹位置
④、 修改hdfs-site.xml 加入如下配置
dfs.datanode.data.dir
⑤、start-dfs.sh