Storm Nimbus中的线程

nimbus计时器线程

nimbus除主线程之外还有一个计数器线程,他主要有三个作用:

  • 调用mk-assignment方法启动新一轮任务的分配,调用do-cleanup方法清理storm元数据。这两项操作会每个nimbus.monitor.freq.secs执行一次,默认值:10秒。
  • 调用clean-inbox方法清理nimbus本地目录中的topoloyg的jar包。该操作每个nimbus.cleanup.inbox.freq.secs执行一次,默认值:600秒。
  • topology的状态转移时间,只有当nimbus接收到对应的服务请求时才会触发,比如:kill、rebalance、activate、deactivate。


mk-assignments方法

     主要负责对当前集群中所有topology进行新一轮的任务调度。

  • 检查已经运行topology所占用的资源,判断他们是否有问题,是否需要重新分配。
  • 根据系统当前的可用资源,为新提交的topology分配任务。
  • 将所有的分配信息保存或更新到zookeeper中。
  • supervisor会周期性的检查这些分配信息,并根据这些分配信息做相应的调度处理。


do-cleanup方法

主要用来判断哪些topology需要清理,并对需要清理的topology做相应的处理。

  • 先删除topology保存在zookeeper中的心跳以及错误信息。
  • 尝试清理nimbus本地目录中相关文件,并从nimbus心跳缓存中移除对应的信息。


clean-inbox方法

主要负责清理nimbus的inbox文件夹$rootPath/nimbus/inbox最后一次修改时间超过了nimbus.inbox.jar.expiration.secs的限定,默认值3600秒。

猜你喜欢

转载自woodding2008.iteye.com/blog/2261139