nimbus计时器线程
nimbus除主线程之外还有一个计数器线程,他主要有三个作用:
- 调用mk-assignment方法启动新一轮任务的分配,调用do-cleanup方法清理storm元数据。这两项操作会每个nimbus.monitor.freq.secs执行一次,默认值:10秒。
- 调用clean-inbox方法清理nimbus本地目录中的topoloyg的jar包。该操作每个nimbus.cleanup.inbox.freq.secs执行一次,默认值:600秒。
- topology的状态转移时间,只有当nimbus接收到对应的服务请求时才会触发,比如:kill、rebalance、activate、deactivate。
mk-assignments方法
主要负责对当前集群中所有topology进行新一轮的任务调度。
- 检查已经运行topology所占用的资源,判断他们是否有问题,是否需要重新分配。
- 根据系统当前的可用资源,为新提交的topology分配任务。
- 将所有的分配信息保存或更新到zookeeper中。
- supervisor会周期性的检查这些分配信息,并根据这些分配信息做相应的调度处理。
do-cleanup方法
主要用来判断哪些topology需要清理,并对需要清理的topology做相应的处理。
- 先删除topology保存在zookeeper中的心跳以及错误信息。
- 尝试清理nimbus本地目录中相关文件,并从nimbus心跳缓存中移除对应的信息。
clean-inbox方法
主要负责清理nimbus的inbox文件夹$rootPath/nimbus/inbox最后一次修改时间超过了nimbus.inbox.jar.expiration.secs的限定,默认值3600秒。