1 介绍
1.1 需要工作流调度系统的原因
- 一个完整的数据分析系统通常都是由大量任务单元组成,shell脚本程序,java程序,mapreduce程序、hive脚本等。
- 各任务单元之间存在时间先后及前后依赖关系
- 为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行;
1.2 数据处理流程
某个业务系统每天产生大量的原始数据,处理步骤如下所示。
- 通过Hadoop先将原始数据同步到HDFS上;
- 借助MapReduce计算框架对原始数据进行转换,生成的数据以分区表的形式存储到多张Hive表中;
- 需要对Hive中多个表的数据进行JOIN处理,得到一个明细数据Hive大表;
- 将明细数据进行复杂的统计分析,得到结果报表信息;
- 需要将统计分析得到的结果数据同步到业务系统中,供业务调用使用。
1.3 工作流调度实现方式
简单的任务调度:直接使用linux的crontab来定义;
复杂的任务调度:开发调度平台,或使用现成的开源调度系统,比如ooize、azkaban等.
1.4 常见工作流调度系统
在hadoop领域,常见的工作流调度器有Oozie, Azkaban,Cascading,Hamake等.
1.5 Azkaban介绍
Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。它有如下功能特点:
- Web用户界面
- 方便上传工作流
- 方便设置任务之间的关系
- 调度工作流
- 认证/授权(权限的工作)
- 能够杀死并重新启动工作流
- 模块化和可插拔的插件机制
- 项目工作区
- 工作流和任务的日志记录和审计
2 Azkaban安装部署
2.1 准备工作
Azkaban Web服务器:azkaban-web-server-2.5.0.tar.gz
Azkaban执行服务器 :azkaban-executor-server-2.5.0.tar.gz
目前azkaban只支持 mysql,需安装mysql服务器
2.2 解压安装包
tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C azkaban
tar -zxvf azkaban-sql-script-2.5.0.tar.gz -C azkaban
2.3 脚本导入mysql
mysql -uroot -proot
2.4 创建 SSL 配置
参考地址
keytool -keystore keystore -alias jetty -genkey -keyalg RSA
这里配置的密码是123456
完成上述工作后,将在当前目录生成 keystore 证书文件,将keystore 考贝到 azkaban web服务器根目录中.如:cp keystore azkaban/server
2.5 配置服务器节点的时区
- 先生成时区配置文件Asia/Shanghai,用交互式命令 tzselect 即可.
- 拷贝该时区文件,覆盖系统本地时区配置
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
2.6 修改azkaban.properties
目录/home/hadoop/azkaban/server/conf
#Azkaban Personalization Settings
azkaban.name=Test #服务器UI名称,用于服务器上方显示的名字
azkaban.label=My Local Azkaban #描述
azkaban.color=#FF3601 #UI颜色
azkaban.default.servlet.path=/index #
web.resource.dir=web/ #默认根web目录
default.timezone.id=Asia/Shanghai #默认时区,已改为亚洲/上海 默认为美国
#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager #用户权限管理默认类
user.manager.xml.file=conf/azkaban-users.xml #用户配置,具体配置参加下文
#Loader for projects
executor.global.properties=conf/global.properties # global配置文件所在位置
azkaban.project.dir=projects #
database.type=mysql #数据库类型
mysql.port=3306 #端口号
mysql.host=localhost #数据库连接IP
mysql.database=azkaban #数据库实例名
mysql.user=root #数据库用户名
mysql.password=root #数据库密码
mysql.numconnections=100 #最大连接数
# Velocity dev mode
velocity.dev.mode=false
# Jetty服务器属性.
jetty.maxThreads=25 #最大线程数
jetty.ssl.port=8443 #Jetty SSL端口
jetty.port=8081 #Jetty端口
jetty.keystore=keystore #SSL文件名
jetty.password=123456 #SSL文件密码
jetty.keypassword=123456 #Jetty主密码 与 keystore文件相同
jetty.truststore=keystore #SSL文件名
jetty.trustpassword=123456 # SSL文件密码
# 执行服务器属性
executor.port=12321 #执行服务器端口
# 邮件设置
mail.sender=xxxxxxxx@163.com #发送邮箱
mail.host=smtp.163.com #发送邮箱smtp地址
mail.user=xxxxxxxx #发送邮件时显示的名称
mail.password=********** #邮箱密码
job.failure.email=xxxxxxxx@163.com #任务失败时发送邮件的地址
job.success.email=xxxxxxxx@163.com #任务成功时发送邮件的地址
lockdown.create.projects=false #
cache.directory=cache #缓存目录
#Loader for projects
executor.global.properties=conf/global.properties # global配置文件所在位置
azkaban.project.dir=projects #
database.type=mysql #数据库类型
mysql.port=3306 #端口号
mysql.host=localhost #数据库连接IP
mysql.database=azkaban #数据库实例名
mysql.user=root #数据库用户名
mysql.password=root #数据库密码
mysql.numconnections=100 #最大连接数
# Velocity dev mode
velocity.dev.mode=false
# Jetty服务器属性.
jetty.maxThreads=25 #最大线程数
jetty.ssl.port=8443 #Jetty SSL端口
jetty.port=8081 #Jetty端口
jetty.keystore=keystore #SSL文件名
jetty.password=123456 #SSL文件密码
jetty.keypassword=123456 #Jetty主密码 与 keystore文件相同
jetty.truststore=keystore #SSL文件名
jetty.trustpassword=123456 # SSL文件密码
# 执行服务器属性
executor.port=12321 #执行服务器端口
# 邮件设置
mail.sender=xxxxxxxx@163.com #发送邮箱
mail.host=smtp.163.com #发送邮箱smtp地址
mail.user=xxxxxxxx #发送邮件时显示的名称
mail.password=********** #邮箱密码
job.failure.email=xxxxxxxx@163.com #任务失败时发送邮件的地址
job.success.email=xxxxxxxx@163.com #任务成功时发送邮件的地址
lockdown.create.projects=false #
cache.directory=cache #缓存目录
2.7 配置 azkaban-users.xml
目录 /home/hadoop/azkaban/server/conf
<azkaban-users>
<user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
<user username="metrics" password="metrics" roles="metrics"/>
<user username="admin" password="admin" roles="admin,metrics" />
<role name="admin" permissions="ADMIN" />
<role name="metrics" permissions="METRICS"/>
</azkaban-users>
2.8 执行服务器 executor 配置
/home/hadoop/azkaban/executor/conf/azkaban.properties
# Azkaban JobTypes Plugins
azkaban.jobtype.plugin.dir=plugins/jobtypes
#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=root
mysql.password=root
mysql.numconnections=100
# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30
3 启动
3.1 启动 web 服务器
在azkaban web服务器目录下执行启动命令 bin/azkaban-web-start.sh
或者启动到后台
nohup bin/azkaban-web-start.sh 1>/tmp/azstd.out 2>/tmp/azerr.out &
3.2 启动执行服务器
在执行服务器目录下执行启动命令bin/azkaban-executor-start.sh
[hadoop@node1 ~]$ cd azkaban/executor/
[hadoop@node1 executor]$ bin/azkaban-executor-start.sh
Using Hadoop from /home/hadoop/apps/hadoop-2.7.6
Using Hive from /home/hadoop/apps/hive
bin/..
:bin/../lib/azkaban-2.5.0.jar:bin/../lib/commons-collections-3.2.1.jar:bin/../lib/commons-configuration-1.8.jar:bin/../lib/commons-dbcp-1.4.jar:bin/../lib/commons-dbutils-1.5.jar:bin/../lib/commons-email-1.2.jar:bin/../lib/commons-fileupload-1.2.1.jar:bin/../lib/commons-io-2.4.jar:bin/../lib/commons-jexl-2.1.1.jar:bin/../lib/commons-lang-2.6.jar:bin/../lib/commons-logging-1.1.1.jar:bin/../lib/commons-pool-1.6.jar:bin/../lib/guava-13.0.1.jar:bin/../lib/h2-1.3.170.jar:bin/../lib/httpclient-4.2.1.jar:bin/../lib/httpcore-4.2.1.jar:bin/../lib/jackson-core-asl-1.9.5.jar:bin/../lib/jackson-mapper-asl-1.9.5.jar:bin/../lib/jetty-6.1.26.jar:bin/../lib/jetty-util-6.1.26.jar:bin/../lib/joda-time-2.0.jar:bin/../lib/jopt-simple-4.3.jar:bin/../lib/junit-4.8.jar:bin/../lib/log4j-1.2.16.jar:bin/../lib/mail-1.4.5.jar:bin/../lib/mysql-connector-java-5.1.28.jar:bin/../lib/servlet-api-2.5.jar:bin/../lib/slf4j-api-1.6.1.jar:bin/../lib/slf4j-log4j12-1.6.4.jar:bin/../lib/velocity-1.7.jar:bin/../lib/velocity-tools-2.0.jar:bin/../extlib/*.jar:bin/../plugins/*/*.jar:/home/hadoop/apps/hadoop-2.7.6/conf:/home/hadoop/apps/hadoop-2.7.6/*:/home/hadoop/apps/hive/conf:/home/hadoop/apps/hive/lib/*
Starting AzkabanExecutorServer on port 12321 ...
[hadoop@node1 executor]$ 2018/09/05 22:41:41.739 +0800 ERROR [AzkabanExecutorServer] [Azkaban] Starting Jetty Azkaban Executor...
2018/09/05 22:41:41.758 +0800 INFO [AzkabanServer] [Azkaban] Loading azkaban settings file from bin/../conf
2018/09/05 22:41:41.758 +0800 INFO [AzkabanServer] [Azkaban] Loading azkaban private properties file
2018/09/05 22:41:41.759 +0800 INFO [AzkabanServer] [Azkaban] Loading azkaban properties file
2018/09/05 22:41:41.781 +0800 INFO [AzkabanExecutorServer] [Azkaban] Setting timezone to Asia/Shanghai
2018/09/05 22:41:41.804 +0800 INFO [log] [Azkaban] Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
2018/09/05 22:41:41.945 +0800 INFO [FlowRunnerManager] [Azkaban] Execution dir retention set to 86400000 ms
2018/09/05 22:41:41.995 +0800 INFO [AzkabanExecutorServer] [Azkaban] Registering MBeans...
2018/09/05 22:41:42.003 +0800 INFO [AzkabanExecutorServer] [Azkaban] Bean azkaban.jmx.JmxJettyServer registered.
2018/09/05 22:41:42.006 +0800 INFO [FlowRunnerManager] [Azkaban] Cleaning recently finished
2018/09/05 22:41:42.032 +0800 INFO [FlowRunnerManager] [Azkaban] Cleaning old projects
2018/09/05 22:41:42.032 +0800 INFO [FlowRunnerManager] [Azkaban] Cleaning old execution dirs
2018/09/05 22:41:42.035 +0800 INFO [AzkabanExecutorServer] [Azkaban] Bean azkaban.jmx.JmxFlowRunnerManager registered.
2018/09/05 22:41:42.035 +0800 INFO [log] [Azkaban] jetty-6.1.26
2018/09/05 22:41:42.152 +0800 INFO [log] [Azkaban] Started SocketConnector@0.0.0.0:12321
2018/09/05 22:41:42.153 +0800 INFO [AzkabanExecutorServer] [Azkaban] Azkaban Executor Server started on port 12321
3.3 测试
浏览器访问 https://node1:8443
,
用户名:admin,密码:admin
4 azkaban 测试案例
Azkaba内置的任务类型支持command、java
4.1 创建command.job
描述文件
#command.job
type=command
command=echo 'hello'
将job资源文件打包成zip文件
4.2 创建工程