ETL工具KETTLE通用知识简介

目录

一、Kettle连接不同数据库驱动jar包放置位置:

二、Kettle中设置编码格式:

三、Kettle作业与转换如何配合使用:

四、Kettle文件资源库与数据库资源库内容如何转换:

1、文件资源库导入到数据库资源库:

2、数据库资源库导入到文件资源库:

五、Kettle实现的功能:


一、Kettle连接不同数据库驱动jar包放置位置:

Kettle软件部署在不同操作系统中,连接各种数据库的驱动jar包防止的位置是不同的,与操作系统有关,不同的操作系统上,驱动jar包放在对应的文件夹中即可,如下图:

二、Kettle中设置编码格式:

如果处理的数据中有中文,需要对中文设置编码格式,一般是utf8格式,彻底的修改格式的方法就是,修改spoon.bat或spoon.sh文件中增加如下信息:"-Dfile.encoding=UTF-8";

三、Kettle作业与转换如何配合使用:

1、一个作业相当于一个主要任务项,在这个主线中可以调用其它若干个转换,每个转换中可以从作业这个主线中获取数据,然后将数据进行相应的处理操作,再将数据传递给作业主线,也可以在转换中单独获取数据------处理数据------输出数据;

2、并且如果对于需要设置变量的情况下,一般也是需要用到作业与转换的配合使用,因为变量在当前线中设置,不能再当前线中获取,需要到下一个线中才能够获取;

3、一个任务只能够有一个主作业,但是可以有多个子作业,主作业中可以调用转换,也可以调用子作业,具体是调用转换还是调用子作业,需要根据不同的需求,进行不同的定制;

四、Kettle文件资源库与数据库资源库内容如何转换:

1、文件资源库导入到数据库资源库:

(1)首先,在kettle软件中登录到数据库资源库;

(2)然后,文件---从xml文件中导入,选择自己要导入的作业或转换,然后ctrl+s保存即可;

2、数据库资源库导入到文件资源库:

(1)首先,在kettle软件中登录到数据库资源库;

(2)然后,文件---导出-----导出到xml文件即可;

五、Kettle实现的功能:

kettle可以实现从不同数据源(excel、数据库、文本文件等)获取数据,然后将数据进行整合、转换处理,可以再将数据输出到指定的位置(excel、数据库、文本文件)等;

通过kettle处理大量数据非常方便,如果window服务器或者Linux服务器硬件一般情况下,对于处理千万级一下的数据都是可以的;

发布了131 篇原创文章 · 获赞 23 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/LSY_CSDN_/article/details/92062441