1.Flink环境搭建
1.1 架构说明(standalone模式)
standalone 是 Flink 自带的一个分布式集群,它不依赖其他的资源调度框架、不依赖 yarn 等。Spark也有一个自带的分布式资源调度模型,也叫作 standalone。
standalone模式进程名介绍:
- JobManager------->进程名字:
StandaloneSessionClusterEntrypoint
我们又叫它:Master
- TaskManager----->进程名字:
TaskManagerRunner
我们又叫它:Worker
1.2 机器分布
机器名(hosts) | IP | 角色 |
---|---|---|
master | 192.168.204.210 | JobManager |
slave01 | 192.168.204.211 | TaskManager |
slave02 | 192.168.204.212 | TaskManager |
1.3 安装 Flink 集群前提
- 已安装 JDK。如需了解安装教程,请点击链接: CentOS 7 安装 JDK8】
- 关闭防火墙【
或者开放指定端口号
(点击链接: Linux 开放制定端口)---- 线上环境不建议关闭防火墙】
1.4 搭建步骤
安装路径:/usr/local/env 下
- 下载 Flink 安装包,请点击链接下载:我是下载地址(
Flink版本选择
:使用最新的 1.9.1 版本;与hadoop整合
:选择 2.7.5版本整合包)
- 上传 Flink 安装包至 Linux 服务器 master 节点。使用 tar 命令解压安装包
- 修改 conf 目录下的
flink-conf.yaml
配置文件
# 指定jobmanager的地址(此处可使用ip/别名)
jobmanager.rpc.address: master
# 指定 taskmanager 的可用槽位的数量(槽位越多,运行的subTask就越多)
taskmanager.numberOfTaskSlots: 2
- 修改 conf 目录下的
slaves
配置文件,指定taskmanager
的所在节点
- 将配置好的 Flink ,拷贝到其他节点(slave01,slave02 节点)
前提:已配置免密登录。免密登录,请参考:我是参考链接
命令:scp -r /usr/local/env/flink-1.9.1 root@slave01:/usr/local/env
scp -r /usr/local/env/flink-1.9.1 root@slave02:/usr/local/env
- 配置完成,目前环境配置为:
1个JobManager,2个 TaskManager
1.5 启动Flink集群
我们通过:flink-1.9.1/bin目录下 的
start-cluster.sh
命令启动。启动成功后,我们可以通过 jps 命令,分别在master
、slave01
、slave02
节点来查看启动进程,查看是否全部启动成功。
1.6 访问JobManager 的 Web 管理界面
端口号:8081
访问链接http://master节点IP:8081
Flink环境搭建(standalone模式),介绍到此为止
如果本文对你有所帮助,那就给我点个赞呗 O(∩_∩)O
End