横向扩容的主要方法是增加集群的节点。
增加集群节点有热部署和冷部署。
冷部署方法参考:https://www.cnblogs.com/phy2020/p/12361682.html
vim /etc/hosts 192.168.100.200 hdp01 192.168.100.200 hdp02 192.168.100.200 hdp03
ssh-copy-id hdp03
vim /opt/soft/hadoop277/etc/hadoop/slaves
hdp01
hdp02
hdp03
hadoop-daemon.sh start datanode
增加硬盘后重启机器,可以看到dev文件夹多了sdb文件夹,dev文件夹里面全是linux的硬件设备。
cd /dev
fdisk sdb //设置分区 m 菜单 n 添加新分区 q 退出不保存 w 保存并退出
mkfs.xfs /dev/sdb1 //分区分好之后,初始化分区
创建一个给新硬盘挂载的文件夹,向该文件夹里存入数据就相当于往新硬盘里存入。
mkdir /sdb1 //创建sdb1文件夹
mount /dev/sdb1 /sdb1 //挂载硬盘,这样挂载只是临时生效,开机生效必须配置/etc/fstab vim /etc/fstab //打开磁盘-文件夹映射表 /dev/sdb1 /sdb1 xfs defaults 0 0
<property> <name>hadoop.tmp.dir</name> <value>/opt/soft/hadoop277/tmp,/sdb1/data</value> </property> <!--使用多个目录时,用‘,’隔开-->
不需要重启整个集群,只需要重启新增硬盘节点的datanode就可以了。
hadoop-daemon.sh start datanode
节点1 纵向拓展成功