2.2 Virtualbox高级应用构建本地大数据集群服务器
“卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新
本节主要内容:
- 创建4台虚拟机(本章中称虚拟机亦称服务器)分别命名为(busuanzi.org,master,worker1,worker2)
- 设置Host-only网络
- 分别安装Linux服务器(Ubuntu18.04 Server版)
- 用于伪分布式的服务器1台
- busuanzi@org (用户名@主机名)
- 用于完全分布式集群的服务器3台
- busuanzi@master
- busuanzi@worker1
- busuanzi@worker2
- 手动分配静态IP
- 本地与服务器互通
- 服务器与服务器免密码登录
2.2.1 创建4台虚拟机
Name分别为busuanzi.org,master,worker1,worker2。
其实,一路“默认配置继续”就行,其中内存和磁盘大小可以灵活调节。
创建完成
2.2.2 设置Host-only网络
busuanzi.org,master,worker1,worker2依次增加Host-only设置
2.2.3 分别安装Linux服务器(Ubuntu18.04 Server版)
(后续章节中用来大数据代码编程调试——因为在本地直接开三台虚拟机可能有的同学机器受不了)
关键步骤设置
- Servers name为Hostname主机名 org,主机名根据机器和用途分配不同的名字。
- username为username 用户名busuanzi,用户名需要一致。
- 伪分布式
- busuanzi@org
- 集群
- busuanzi@master
- busuanzi@worker1
- busuanzi@worker2
2.2.4 手动分配静态IP
IP分配为
- busuanzi.org 192.168.56.101
- master 192.168.56.102
- worker1 192.168.56.103
- worker2 192.168.56.104
扫描二维码关注公众号,回复:
2169648 查看本文章
使得/etc/network/interfaces配置可以生效
sudo apt update
sudo apt install ssh pdsh ifupdown
增加如下内容,解决命令行中中文乱码问题
LANG=en_US.utf-8
LC_ALL=en_US.utf-8
查看当前网络
ls /sys/class/net
修改网络配置文件
sudo vim /etc/network/interfaces
添加如下内容,此时为192.168.56.101 其他3台分别为102,103,104
# 增加的Host-only静态IP设置 (enp0s8 是根据拓扑关系映射的网卡名称(旧规则是eth0,eth1))
# 可以通过 ```ls /sys/class/net```查看,是否为enp0s8
auto enp0s8
iface enp0s8 inet static
address 192.168.56.101
netmask 255.255.255.0
重启 busuanzi.org 虚拟机
依此步骤 分别分配集群3台服务器IP
2.2.5 本地与服务器互通
ssh busuanzi@192.168.56.101
依次登录(根据自己机器性能谨慎四台机器同时开启)
2.2.6 服务器与服务器相互登录
从master服务器登录到worker1服务器
本节完成
长按关注从入门到精通
开源、源码获取 https://github.com/wangxiaoleiAI/big-data
(分割线以下可忽略)
拓展部分
服务器版安装详细步骤:
Ubuntu18.04服务器版安装完成。