Kettle 的运行方式
1. 图形: Spoon
Kettle 图形运行方式的三种形式:
- 本地: 在本地执行
- 远程: 在远程服务器执行, 需要远程服务执行 Carte.
2.1 Carte 是内嵌 Jetty 的 http server
2.2 Carte 执行命令 carte localhost 8080- 集群: 在集群上执行, 需要转换里的某个步骤事先设置为集群方式运行.
1.1 本地
默认就是本地执行.
buffer 的大小查看:
1.2 远程
找到
pwd
目录下:
1.2.1 单节点部署
单节点部署只需要在节点服务器上配置
carte-config-master-8080.xml
配置文件即可.
name: 指定为主机名称,修改为 master
hostname: IP 地址
port:端口号
master:标示是否为主节点, Y: 是, N: 否
username: 用户名 [可选]
password: 密码 [可选]
carte-config-master-8080.xml 文件的填写内容:
<slave_config>
<!--
Document description...
- masters: You can list the slave servers to which this slave has to report back to.
If this is a master, we will contact the other masters to get a list of all the slaves in the cluster.
- report_to_masters : send a message to the defined masters to let them know we exist (Y/N)
- slaveserver : specify the slave server details of this carte instance.
IMPORTANT : the username and password specified here are used by the master instances to connect to this slave.
-->
<slaveserver>
<name>master1</name>
<hostname>127.0.0.1</hostname>
<port>8080</port>
<master>Y</master>
</slaveserver>
</slave_config>
carte 单节点运行:
carte 127.0.0.1 8080
默认的用户和密码为
cluster
用浏览器访问: http://127.0.0.1:8080/kettle/status/?xml=Y
输入用户和密码
修改密码可以在 pwd 目录下的kettle.pwd
文件进行修改.
修改时需要用encr -carte yourpassword
该命令加密.
添加子服务器:
网页中查看状态:
http://127.0.0.1:8080/kettle/status/
http://127.0.0.1:8080/kettle/status/?xml=Y
1.3 集群
Cx1 代表:
- C: class
- 1: 代表集群中有一个服务器
2. 命令行: Pan Kitchen
Pan 命令行: 执行转换
Kitchen 命令行: 执行作业
参数格式有两种:
官方推荐: Windows 系统使用带正斜杠 ("/
") 和冒号 (":
") 的语法.
pan.sh -option=value arg1 arg2
pan.bat /option: value arg1 arg2
新建立一个作业:
cmd 中输入 kitchen, 可以查看参数的含义.
官方文档: https://help.pentaho.com/Documentation/8.2/Products/Data_Integration/Command_Line_Tools
/rep
: 指定仓库名称.
/job
: 指定作业的文件.
kitchen /rep:ETL_files /job:jobs/first
将 /job:jobs/first 分解成
/job:first /dir:jobs
最好.
/level
: 输出的日志标准.
/logfile
: 输出的日志路径.
kitchen /rep:ETL_files /job:first /dir:jobs /level:basic /logfile:D:/install/etl/etlwp/ETL_files/log/kitchen/log.txt
/export
: 导出文件.
kitchen /rep:ETL_files /job:first /dir:jobs /export:D:/install/etl/etlwp/ETL_files/export/jobs/first/first.zip
解压后:
3. API: Kettle Java API 嵌入到其它应用中
这里先放着, 后期自己做一个, 分享出来.