小知识,大挑战!本文正在参与“程序员必备小知识”创作活动
一、前言
Hadoop的计算运行依赖于机器集群实现,本文将通过在局域网内构建一个三个机器组成的集群,简要描述Hadoop的分布式集群环境搭建过程。
二、网络设置
将虚拟机的网络模式改为桥接模式
打开菜单栏下 编辑-虚拟网络编辑器,将桥接的外部网络调为当前网卡使用的网络。
按照物理机的IP字段,使用sudo vim /etc/network/interfaces
对配置文件进行修改,分配与静态IP。
使用sudo vim /etc/systemd/resolved.conf
修改DNS设置。
上述步骤完成后输入sudo /etc/init.d/networking restart
重启网络服务
若主机ping通虚拟机,虚拟机ping通百度,可以正常上网,则网络配置正确。
三、分布式集群搭建
机器克隆
打开 菜单栏->虚拟机-管理-克隆。
按照指引,克隆两台与原虚拟机完全一致的子虚拟机模拟三台分布式主机(主要是为了使配置的Linux环境在各机器内保持一致)。
差异化
打开克隆的虚拟机,同上修改静态IP地址,IP尾部字段有区别,可以选择一段连续的IP地址,方便书写记忆。(这里要注意,设置的IP不能和网段内的其他设备重复)
使用sudo vim /etc/hostname
永久修改机器名,为两台克隆机机器名分别加入_clone1
和_clone2
的后缀。
然后再三台机器上添加相同的映射(sudo vim /etc/hosts
):
(我使用的三台机器IP为192.168.123.250~252)
SSH配置
主机之间需要通过SSH进行通信,要实现双向登录,就需要将公钥复制到对方机器用户目录下,并复制到authorized_keys中。(详情见上篇文章)
首先要为克隆机独自生成一对公钥和私钥
三台机器之间的文件传输可以通过ftp、scp或直接通过可视化窗口实现,这里就不再介绍了(方法见上篇文章)。
这里使用cat ** >> authorized_keys
可以较为方便的实现公钥追加到authorized_keys文件下。