在hadoop环境下运行flink的batch程序:
./flink run /home/hadoop/proj/wordcount.jar --input hdfs://mycluster/flinkProjectData/111.txt
一段时间后,flink的web界面上,taskmanager和jobmanager下的logs分别出现error:
taskmanager:
ERROR org.apache.flink.runtime.rpc.akka.AkkaRpcActor
-caught exception while executing runnable in main thread.
......
Caused by:java.io.IOException:The rpc invocation size exceeds the maximum akka framesize.
jobmanager:
ERROR org.apache.flink.runtime.blob.BlobServerConnection GET operation failed
而且在master上出现了以下进程:
YarnTaskExecutorRunner
CliFrontend
FlinkYarnSessionCli
问:是否代表集群没有起到作用,仍然是单机在跑?
答:https://blog.csdn.net/lb812913059/article/details/86601150
出现CliFrontend是因为Flink的提交模式:
如果文件比较小,就不会报错,文件在1G左右,就会报错。
(1)YarnTaskExecutorRunner是taskmanager,只有一个,web界面也只有一个,这是为何?
(2)Flink HA的配置中,master配置的只有一个,但是提交Flink任务时,就会在三台机器之间随机选择jobmanager,这是为何?
问:运行Flink on Yarn时,master和slave上应该分别有哪些进程呢?