由于之前的Hadoop集群是用Docker搭建的,所以后面整个大数据环境,本人都会采用Docker构建,Hive环境安装需在之前的Hadoop基础上构建,参考文章如下:
一、Hive安装部署
启动docker,运行之前保存的hadoop镜像,进入容器内部,再按下面操作部署Hive环境。
注意:Docker容器重启时,默认的网络模式bridge会给容器重新分配IP,所以容器IP和/etc/hosts都被重置了,需要重新绑定IP,重新配置hosts。
1、hive安装及配置
(1)把apache-hive-1.2.2-bin.tar.gz上传到linux的/opt/software目录下
(2)解压apache-hive-1.2.2-bin.tar.gz到/opt/module/目录下面
tar -zxvf apache-hive-1.2.2-bin.tar.gz -C /opt/module/
(3)修改apache-hive-1.2.2-bin/的名称为hive(非必要)
mv apache-hive-1.2.2-bin/ hive
(4)修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh
mv hive-env.sh.template hive-env.sh
(5)配置hive-env.sh文件
(a)配置HADOOP_HOME路径
export HADOOP_HOME=/opt/module/hadoop-2.7.3
(b)配置HIVE_CONF_DIR路径
export HIVE_CONF_DIR=/opt/module/hive/conf
2、hadoop集群配置
(1)必须启动hdfs和yarn
start-dfs.sh
start-yarn.sh
(2)在HDFS上创建/tmp和/user/hive/warehouse两个目录并修改他们的同组权限可写(非必要)
hadoop fs -mkdir /tmp
hadoop fs -mkdir -p /user/hive/warehouse
3、hive基本操作
(1)启动hive
bin/hive
(2)查看数据库
hive>show databases;
(3)打开默认数据库
hive>use default;
(4)显示default数据库中的表
hive>show tables;
(5)创建一张表
hive> create table student(id int, name string) ;
(6)显示数据库中有几张表
hive>show tables;
(7)查看表的结构
hive>desc student;
(8)向表中插入数据
hive> insert into student values(1000,"ss");
(9)查询表中数据
hive> select * from student;
(10)退出hive
hive> quit;
以上就是一个基本的Hive环境安装,不过这里Hive环境中的Metastore默认存储在自带的derby数据库中,推荐使用MySQL存储Metastore,后面会继续介绍安装MySQL来存储MetaStore;