Hive 配置,Hive是facebook开源的,用于解决海量结构化数据的统计,它提供了SQL查询功能
Hive架构:
1. 底层的HDFS
2. yarn 的mapreduce 计算(sql语句执行)
3. meta store 可以是mysql,也可以是默认的
配置:
1. 在hive-env.sh中配置:
HIVE_CONF_DIR
HADOOP_HOME
2. HDFS文件系统中创建文件:
hadoop fs -mkdir /tmp
hadoop fs -chmod g+w /tmp
hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -chmod g+w /user/hive/warehouse
Hive 的使用:
1. Hive 中不提供update和delete 单条纪录的语句
2. 它提供sql语句,创建表,插入数据(将一条数据覆写,可能达到update的操作)等,另外他还提供 load local data
3. Hive中有两种表
内表: 数据存放在 /user/hive/warehouse
外表: 数据存放在其它地方,(创建表的时候加external关键字) 可能是HBase,或HDFS其它地方
内外表的删除是有区别的:
内表: 由hive管理,删除表时,元数据与数据都将被删除
外表: 删除表时,只删除元数据
hive还有一个分区操作,可以添加分区.