基于FusionInsight (FI) 上安装部署Apache Atlas
一、Apache Atlas的简介
Apache Atlas旨在有效地在Hadoop和更广泛的数据生态系统中交换元数据。Atlas能自动的收集各种hadoop生态系统上的元数据数据,给业务人员提供可视化。让业务人员可以通过Atlas 可以了解大数据平台的状态,并辅助数据分析人员能在数据平台上进行数据管理:调查,分类,特征定义等
二、Atlas安装部署过程
1、按照网上的教程用非内嵌的方式对atlas包进行编译,编译会有很多坑,这里建议直接使用我们组已经编译好的atlas包
网上安装Atlas的教程如下:
https://blog.csdn.net/cafebar123/article/details/79944247
http://atlas.apache.org/InstallationSteps.html
https://blog.csdn.net/ganglia/article/details/51457691
2、把编译好的atlas.tar的拷贝到需要安装atlas的主机上的/opt/目录进行解压
这里我是安装在10.169.116.121的节点上
3、进入解压后的atlas的安装包,命令如下
cd /opt/apache-atlas-1.0.0/
4、把apache-atlas-1.0.0/conf/atlas-application.properties文件进行修改,修改参照标准的文件,其中IP地址换成我们使用的节点IP就行
5、在apache-atlas-1.0.0/conf/atlas-env.sh文件中添加如下环境变量:
export HBASE_CONF_DIR=/opt/apache-atlas-1.0.0/conf/hbase
6、在/opt/apache-atlas-1.0.0目录下执bin/atlas_start.py命令即可等待其启动
7、启动成功后就可访问FI环境下的atlas了
三、安装时遇到的问题及解决方法
1、问题:Atlas启动失败,看日志提示无法访问数据
原因:在FI安装第9步操作选择安全模式,导致atlas无法访问FI中的Hbase的数据和Hive数据
解决方法:安装时选择普通模式
2、问题:Atlas启动失败
原因:未在FI上安装KAFKA组件
解决方法:补装一个KAFKA组件
3、问题:atlas安装中的第5步没有执行
解决方法:执行atlas的第5步环境变量的配置
四、安装时遇到的小问题:
1、问题:一开始无法访问atlas的文件,比如无法执行bin/atlas_start.py等命令。后来查看文件后才知道该文件的权限有问题,由于是从别的地方移入到linux的文件,可能默认没有可执行的权限。
解决方法:更改atlas整个文件包的权限,让所有者可以执行,即把文件权限改为755
2、问题:在FI安装时忘记执行第6步,即忘记将HD和Porter部件包拷贝到“/opt/FusionInsight_Manager/software/packs/”文件夹,导致FI安装集群时没有可选的集群
解决方法:将HD和Porter部件包拷贝到指定文件夹后,卸载集群重新安装