Kettle连接大数据集群Hadoop

  Ketlle提供了hadoop集群的连接配置模块,在配置“Hadoop cluster”之前要做一些准备工作,将集群中的相关配置文件复制到kettle中的目录中,替换掉原目录中的文件。

  1. 需要的配置文件:core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、hbase-site.xml、hive-site.xml,这些配置文件中前四个是连接hadoop所必须的,后面的两个看具体需求,如果也需要那就需要在集群中拷贝下来。
  2. 文件存放路径:E:\kettle-8.2\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh514
最后一级目录主要看所使用的大数据平台是什么,将从集群拷贝的配置文件替换掉原目录中的文件就可以了。
  3. 然后点击kettle左上角的“工具”->点击“Hadoop Distribution”->选择和服务器大数据平台对应的类型,如下图所示
在这里插入图片描述
  4. 准备工作完成后,鼠标右键“Hadoop cluster”->新建,具体配置内容根据集群中的软件决定,如下图所示
在这里插入图片描述
  5. 配置完成点击测试,如果出现下图所示内容就证明连接上了
在这里插入图片描述
  可以看到,根据大数据平台实际情况所配置的软件都已经建立连接了(前提是服务都是开启的),在配置好连接后,后续使用相关组件直接选择此连接就可以了。

猜你喜欢

转载自blog.csdn.net/AnameJL/article/details/115315437