版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/guohan_solft/article/details/79334344
目录:
一 最简单的使用
1 创建一个job,执行打印输出
vim simple.job
type=command
command=echo 'simple job started'
2 打包成zip
zip simpleJob.zip simple.job
将文件下载到本地
sz simpleJob.zip
3 执行job
3. 1 打开Azkaban的web页面:https://mini1:8443
3. 2 在页面上创建一个project
3. 3 上传压缩包simple.zip
3. 4 执行
3. 5 查看执行日志
二、单个依赖工作流
当前工作流的执行依赖上一个job的执行,即上一个job执行完才能执行当前job
1 创建job1
vim start1.job
type=command
command=echo 'start1 started'
2 创建job2
vim start2.job
type=command
dependecies=start1
command=echo 'start2 started'
3 打包上传执行
三 多个依赖工作流,并行执行
1 创建job1
vim start1.job
type=command
command=echo 'start1 started'
2 创建job2
vim start2.job
type=command
command=echo 'start2 started'
3 创建job3
vim start3.job
type=command
dependecies=start1,start2
command=echo 'start3 started'
注意:start1和start2是并行执行的
3 打包上传执行
四 一个job执行多个命令
使用command.n的形式添加多个命令
vim twoCommand.job
type=command
command=echo 'twoCammandJob started'
command.1=hdfs dfs -mkdir /test1
command.2=hdfs dfs -mkdir /test2
注意:command=这一行千万不可少,否则报错找不到command命令
3 打包上传执行
五、 创建执行map reduce的job
1 准备jar包,
这里以Hadoop自带的单词统计案例为例,jar包在
/usr/local/hadoop-2.6.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar
2 创建job
vim mrJob.job
type=command
command=hadoop jar hadoop-mapreduce-examples-2.6.4.jar wordcount /wordcount/input /wordcount/output
3 准备单词统计文件
vim word.txt
hadoop spark
sqoop hadoop
storm phython
4 将单词统计文件上传到hdfs
hdfs dfs -put word.txt /wordcount/input
5 将mrJob.job和hadoop-mapreduce-examples-2.6.4.jar打包
zip mrJob.zip mrJob.job hadoop-mapreduce-examples-2.6.4.jar
6 下载zip到本地,进入web页面创建新的project,上传zip执行
六 执行hive脚本
1 创建job
vim hiveScript.job
type=command
command=hive -e 'use emp_db; select id,name,age from amp;'
2 打包上传执行
七 执行hive的sql文件
1 创建sql
vim hiveSql.sql
use emp_db;
drop table az_emp;
create table az_emp(id int,name string,age int) row format delimited fields terminated by ',';
load data local inpath '/usr/local/hivedata/az_emp.txt' into table az_emp;
drop table az_emp_test;
create table az_emp_test as select id,name,age from az_emp;
insert overwrite local directory '/usr/local/hivedata/az_emp_output' select id,name,age from az_emp_test;
2 创建job
vim executeSql.job
type=command
command=hive -f 'executeSql.sql'
3 数据准备:创建az_emp.txt
vim az_emp.txt
1,honghong,25
2,lanolin,22
3,juanjuan,20
4 打包
zip executeSql.zip hiveSql.sql excuteSql.job