flink学习笔记-shell命令号调试flink实时、批处理任务
其他
2020-04-07 11:31:02
阅读次数: 0
- 为了方便我们的开发调试，Flink支持通过shell命令行的方式来对我们的代码进行开发运行，类似于Spark的shell命令行对代码的调试是一样的，可以方便的对我们的代码执行结果进行跟踪调试，查验代码的问题所在Flink shell方式支持流处理和批处理。
- 当启动shell命令行之后，两个不同的ExecutionEnvironments会被自动创建。使用senv(Stream)和benv(Batch)分别去处理流处理和批处理程序。(类似于spark-shell中sc变量)
- 1： 批量处理代码调试
cd /opt/install/flink-1.8.1/
bin/start-scala-shell.sh local
val line =benv.fromElements("hadoop hive","spark flink")
line.flatMap(x => x.split(" ")).map(x =>(x,1)).groupBy(0).sum(1).print
- 2：实时处理代码调试
[hadoop@node01 ~]$ nc -lk 8000
cd /opt/install/flink-1.8.1/
bin/start-scala-shell.sh local
senv.socketTextStream("node01",8000).flatMap(x => x.split(" ")).map(x =>(x,1)).keyBy(0).sum(1).print
senv.execute
发布了40 篇原创文章 ·
获赞 59 ·
访问量 1403
转载自blog.csdn.net/qq_26719997/article/details/105041609
