本接内容
1 使用Web页面
Submit New Job
方式提交2 使用
命令行方式
提交
注意
在flink的安装包中有项目自带的实例代码
接下来,我们使用 streaming 文件夹中的 SocketWindowWordCount.jar
(从Socket端口读数据,执行WordCount)
来演示如何提交任务。
1 使用Web页面Submit New Job
方式提交
在lx01上启动 nc -lk 8888
WordCount 计数完成后,我们在 TaskManager 配置页面
,通过 stdout
可以查看到结果信息
因为Flink任务是实时的,启动就不会停止,除非出错
或者人为取消Job
2 使用命令行方式
提交
2.1 命令如下:
bin/flink run -m master:8081 -p 4 -c org.apache.flink.streaming.examples.socket.SocketWindowWordCount /usr/local/env/flink-1.9.1/examples/streaming/SocketWindowWordCount.jar --hostname master --port 8888
2.2 参数说明
-m:指定主机名后面的端口为 JobManager的 REST 通信端口,而不是 RPC的端口,RPC通信端口是 6123(在提交任务时,是通过 REST 端口号(HTTP端口号),将任务上传到 JobManager.);
-p:指定具体的并行度(即占用几个 Task Slots 来跑任务);
-c:指定 main 方法的全类名。
-s:指定 savePoint 的路径(用于任务重启时接上次操作继续进行,恢复数据使用。在本系列博文后面会有介绍。见:Flink笔记(十九):Flink 从 Checkpoint 中恢复数据)。
--hostname xxx --port xxx 传入 main 方法 的参数(以 --属性名 属性值的方式传入)
2.3 提交实例
注意在提交任务之前应该先开启 nc -lk 8888 否则程序无法正常启动
[root@lx01 bin]# ./flink run -m lx01:8081 -p 6 -c org.apache.flink.streaming.examples.socket.SocketWindowWordCount /opt/apps/flink-1.9.3/examples/streaming/SocketWindowWordCount.jar --hostname lx01 --port 8888
Starting execution of program