Kettle系列文章目录
作者:Loves_dccBigData
前言
提示:以下是本篇文章正文内容
1、资源库概述
将开发的转化和job保存在资源库,便于查看使用,(之前的都是直接保存为xml文件)
2、分类
(1)数据库资源库
(2)文件资源库
3、数据库资源库
将作业和转换相关的信息存储在数据库中,执行的时候直接去数据库读取信息,方便跨平台使用
(1)在MySQL中创建kettle数据库 create database kettle
(2)右上角connect->other
Resporitory->database Repository->建立新连接->finish->连接
资源库(默认账号密码为admin)->将之前的转换作业导入保存
(3)在linux上安装kettle,模拟其他人
4、linux上安装kettle
1)上传解压,配置,和之前一样配置相同的文件
2)将windows本地用户家目录下的隐藏目录C:\Users\自己用户名.kettle目录,整个上传到linux的用户的家目录下,root用户的家目录为/root/
运行数据库资源库中的转换:
cd /usr/local/soft/data-integration
./pan.sh -rep=my_repo -user=admin -pass=admin -trans=tran1
参数说明:
-rep 资源库名称
-user 资源库用户名
-pass 资源库密码
-trans 要启动的转换名称
-dir目录(不要忘了前缀 /)(如果是以ktr文件运行时,需要指定ktr文件的路径)
运行资源库里的作业:
cd /usr/local/soft/data-integration
mkdir logs
./kitchen.sh -rep=my_repo -user=admin -pass=admin -job=job1 -logfile=./logs/log.txt
参数说明:
-rep - 资源库名
-user - 资源库用户名
-pass – 资源库密码
-job – job名
-dir – job路径(当直接运行kjb文件的时候需要指定)
-logfile – 日志目录
执行会出现错误,将job打开,路径改为资源库中的job,之前的job是以文件形式存储的 转换改为资源库中的转换
4、文件资源库
将作业和转换相关的信息存储在指定的目录中,其实和XML的方式一样创建方式跟创建数据库资源库步骤类似,只是不需要用户密码就可以访问,跨平台使用比较麻烦
选择connect 点击add后点击Other Repositories 选择File Repository 填写信息