离线计算与实时批处理

1、为什么spark不适合做实时批处理?

      答:比如spark on yarn的时候,申请资源的过程非常慢,即使是数据量小、计算简单的application,其申请资源的时间远大于计算的时间,但是可以尝试通过写一个boot服务,把sc该厂一个长(常)服务,控制在10-15秒以内是非常完美的


待续。。。

猜你喜欢

转载自blog.csdn.net/qq_15300683/article/details/80063464