Hive三种搭建方式
一、Local本地(derby)
元数据库derby与工具都是在本地
只需将压缩包解压,在hive-site.xml做以下配置(将原信息删除)
注:需要将hive-site.xml.template更名为hive-site.xml
mv hive-default.xml.template hive-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:derby:;databaseName=metastore_db;create=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>org.apache.derby.jdbc.EmbeddedDriver</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
</configuration>
检查Hadoop里的jline.jar的版本与Hive中的是否一致是否一致
若不一致,需要将Hive中的jar包导入到Hadoop相应的位置
# Hadoop中jline jar包的位置
/hadoop/share/hadoop/yarn/lib
# hive中jline jar包的位置
/hive/lib
启动Hive
#在/hive/bin启动
./hive
注:使用derby存储方式时,运行hive会在当前目录生成一个derby文件和一个metastore_db目录。这种存储方式的弊端是在同一个目录下同时只能有一个hive客户端能使用数据库。
启动hive前需要启动HDFS
二、Local(mysql)
1 拷贝mysql驱动jar包(mysql-connector-java-5.1.32-bin)
这种存储方式需要在本地运行一个mysql服务器,并作如下配置(下面两种使用mysql的方式,需要将mysql的jar包拷贝到$HIVE_HOME/lib目录下)。
2 安装mysql
#安装mysql
yum install mysql-server -y
#启动mysql
service mysqld start
#登录新安装的没有密码,不需要密码登录
mysql -uroot
#修改mysql权限:删除多余会对权限造成影响的数据
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;
#刷新权限
flush privileges;
#添加用户:
CREATE USER 'hive'@'%' IDENTIFIED BY '123';
#授权用户:
grant all privileges on hive_meta.* to hive@"%" identified by '123';
flush privileges;
注意:
权限,虽然hive用户对hive_meta(和下面配置文件中的数据库名称一致)数据库是由操作权限的,但是这个数据库如果不存在,hive用户也是没有权限创建这个数据库,所以需要提前创建好hive_meta数据库
需要修改用户名密码,新建的mysql是没有密码的,需要自己更改用户密码。
#hive-site.xml配置文件信息
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive_remote/warehouse</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost/hive_meta?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>password</value>
</property>
</configuration>
启动Hive
#在/hive/bin启动
./hive
注:上述配置文件最后的配置信息修改为自己的mysql用户密码
启动hive前需要启动HDFS
三、基于mysql的远程模式
服务端配置文件–client节点
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive_remote/warehouse</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost/hive_meta?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>password</value>
</property>
</configuration> j
启动meta store service
#在客户端机器启动meta store service
hive --service metastore
客户端配置–远程机器
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>false</value>
</property>
<property>
<name>hive.metastore.uris</name>
<value>thrift://192.168.163.127:9083</value>
</property>
</configuration>
注意:上面客户端配置信息的IP为Client的IP
至此,三种模式的搭建就完成啦!