Kettle是一款开源的ETL工具,可以用于数据采集、转换、加载等数据处理任务。
1.前提条件
1.1 在Windows编写好转换和作业并存在/data-integration/files目录下。
这里在作业中配置了定时启动转换,每秒钟执行一次,所以只需要设定开机自启动作业即可。
1.2.Ubuntu配置好jdk环境。
1.3.上传完整的包至Ubuntu上。
1.4配置好cron组件
可参考(1条消息) Ubuntu部署crontab开机自启动_唯一的可林的博客-CSDN博客
2.开机自启动
2.1编辑作业启动脚本
vim /data-integration/files/job.sh
注意,环境变量要在此脚本编写,不然执行不成功。
可以写多个nohup启动多个作业
脚本解释:
nohup /data-integration/kitchen.sh -file=/data-integration/files/job/job1.kjb > /dev/null &
nohup方式no hung up后台启动;
/data-integration/kitchen.sh执行作业启动脚本;
-file=/data-integration/files/job/job1.kjb指定作业的位置;
> /dev/null输出到黑洞,不存储日志;
&后台启动
2.2 vim /etc/crontab
在文末添加@reboot root /data-integration/files/job.sh
service crontab restart重启cron服务即可。
2.3关闭脚本
vim /data-integration/files/kill.sh
ps -ef |grep kitchen |awk '{print $2}'|xargs kill -9