1、环境准备
- Centos7
- Hadoop
- Java
- MySQL
使用到的工具版本说明:
centos版本:CentOS-7.4-x86_64-DVD-1708.iso
JDK版本:jdk-8u231-linux-x64.tar.gz
Hadoop版本:hadoop-2.7.3.tar.gz
Hive:apache-hive-2.3.7-bin.tar.gz
MySQL:5.7
centos7、jdk、hadoop的安装这里就不再讲了,不清楚的可以查看本人之前的blog都有讲。
Centos服务器上安装jdk
Hadoop2.7.3在centos7上的单机版安装部署
2、在安装hive之前,jdk、hadoop、mysql都已安装好,同时启动hdfs,yarn
我的mysql没有装在centos7上,mysql我连的是我机器,
我机器的ip为172.20.10.3,centos7的ip为172.20.10.4
# 启动hdfs
./sbin/start-dfs.sh
# 启动yarn
./sbin/start-yarn.sh
3、安装Hive
3.1 在/usr/目录下,新建hive目录,将hive的安装包apache-hive-2.3.7-bin.tar.gz上传到hive目录下,并解压
3.2 在/usr/hive/apache-hive-2.3.7-bin/conf目录下,添加配置文件hive-site.xml
vi hive-site.xml
其内容如下:
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://172.20.10.3:3306/hive_metadata?&createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>datanucleus.schema.autoCreateAll</name>
<value>true</value> </property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
</configuration>
3.3 在/usr/hive/apache-hive-2.3.7-bin/conf目录下,将hive-env.sh.template复制一份重明为hive-env.sh
cp hive-env.sh.template hive-env.sh
其内容如下:
HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export HIVE_CONF_DIR=/usr/hive/apache-hive-2.3.7-bin/conf
3.4 添加hive的环境变量
vi /etc/profile
添加以下内容:
export HIVE_HOME=/usr/hive/apache-hive-2.3.7-bin
export PATH=$PATH:$HIVE_HOME/bin
source /etc/profile
3.5 添mysql驱动jar包:mysql-connector-java-5.1.44.jar到目录/usr/hive/apache-hive-2.3.7-bin/lib/下,
3.6 初始化数据库
schematool -initSchema -dbType mysql