今天来分享一下,18年12月份参加大赛整理的Hive安装部署过程,希望对大家能有帮助,如有写的不对的地方,还请大家留言交流。
- Hive的安装方式介绍: Hive是一个客户端工具,它的安装不分伪分布式还是分布式,通常只需要在主节点上安装Hive即可。
Hive根据元数据存储和访问方式不同,分为以下三种安装方式: (1) 内嵌模式:元数据保存在内嵌的derby中,只允许一个会话连接。
(2) 本地模式:本地安装mysql,替代derby存储元数据。 (3) 远程模式:远程安装mysql,替代derby存储元数据。
安装Hive的前提条件:Hive依赖与Hadoop,安装Hive之前应先提前安装好Hadoop。
- Hive安装前准备 首先安装mysql并进行配置 正确安装mysql,为root用户设置密码。
(1) 删除linux上已经安装的mysql相关库信息。 rpm -e xxxxxxx --nodeps
执行命令rpm -qa |grep mysql 检查是否删除干净
(2) 使用yum源安装mysql 安装服务器端:
yum install –y mysql-server yum install –y mysql-client
(3)mysql配置
在命令行状态下执行命令连接mysql: mysql 授予远程访问权限:
mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;
重载授权表:
mysql>FLUSH PRIVILEGES; 创建 hive 数据库 mysql>create database hive;
退出mysql数据库: mysql>exit
进入 Mysql : mysql -uroot -p
设置密码:set password=password('123456');
在apache官网下载Hive安装包,进行解压安装:
安装包已经存放到/share/bigdata/hadoop目录下,拷贝到/usr/local目录下:
cp /share/bigdata/hadoop/hive-1.2.1-bin.tar.gz /usr/local
-
在/usr/local目录下解压Hive安装包,并配置环境变量 cd /usr/local tar zxvf hive-1.2.1-bin.tat.gz mv hive-1.2.1-bin hive //换为短名 修改环境变量 vim
/etc/profile加入hive相关的环境变量
PATH=$HIVE_HOME/bin:$HIVE_HOME/conf:$PATH ``` 使设置环境变量生效 source /etc/profile
-
2、修改Hive的配置文件 到hive 配置文件目录中 cd /usr/local/hive/conf
把初始化的文件 复制一份出来 并且改名: cp hive-env.sh.template hive-env.sh cp hive-default.xml.template hive-site.xml cp
hive-log4j2.properties.template hive-log4j2.properties cp
hive-exec-log4j2.properties.template hive-exec-log4j2.properties -
3、修改hive-env.sh 添加以下四个环境变量的配置:
export JAVA_HOME=/usr/local/jdk ##Java路径
export HADOOP_HOME=/usr/local/hadoop ##Hadoop安装路径
export HIVE_HOME=/usr/local/hive ##Hive安装路径
export HIVE_CONF_DIR=${HIVE_HOME}/conf ##Hive配置文件路径 -
在hdfs 中创建下面的三个目录 ,并且授权
hdfs dfs -mkdir -p /user/hive/warehouse
hdfs dfs -mkdir -p /user/hive/tmp
hdfs dfs -mkdir -p /user/hive/log
hdfs dfs -chmod -R 777 /user/hive/warehouse
hdfs dfs -chmod -R 777 /user/hive/tmp
hdfs dfs -chmod -R 777 /user/hive/log
修改hive-site.xml
(1) 将 hive-site.xml 文件中以下几个配置项的值设置成上一步中创建的几个路径。
<property>
<name>hive.exec.scratchdir</name>
<value>/user/hive/tmp</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
<property>
<name>hive.querylog.location</name>
<value>/user/hive/log</value>
</property>
(2) 需要在 hive-site.xml 文件中配置 MySQL 数据库连接信息。
<property>
<name>javax.jdo.option.ConnectionURL</name>
localhost 代表mysql的位置
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8& ; useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
(3)在配置文件 hive-site.xml 里面
把${system:java.io.tmpdir} 改成 /usr/local/hive/tmp/
把${system:user.name} 改成 ${user.name}
需要hive元数据库初始化,执行
schematool -dbType mysql -initSchema
5、在hive安装目录下创建tmp文件
mkdir /usr/local/hive/tmp
6、配置jdbc驱动包
下载mysql的jdbc 驱动包:
下载完成后把mysql-connector-java-5.1.25-bin.jar 然后放入 /usr/local/hive/lib 目录下
Hive的启动和检验
在后台启动hive服务
hive --service hiveserver2& (&表示远程)
访问hive:
检测hive 是否成功 直接在安装机器的命令行输入hive命令即可
课程总结
Hive的安装方式;
Hive的本地方式安装的过程。