Hive 配置以及运用

Hive 配置,Hive是facebook开源的,用于解决海量结构化数据的统计,它提供了SQL查询功能
 Hive架构:
         1. 底层的HDFS
         2. yarn 的mapreduce 计算(sql语句执行)
         3. meta store 可以是mysql,也可以是默认的
 配置:
      1. 在hive-env.sh中配置:
        HIVE_CONF_DIR
        HADOOP_HOME
      2. HDFS文件系统中创建文件:
        hadoop fs -mkdir  /tmp
        hadoop fs -chmod g+w   /tmp
        hadoop fs -mkdir  -p /user/hive/warehouse
       hadoop fs -chmod g+w   /user/hive/warehouse

Hive 的使用:

     1.  Hive 中不提供update和delete 单条纪录的语句

      2. 它提供sql语句,创建表,插入数据(将一条数据覆写,可能达到update的操作)等,另外他还提供 load local data 

       3. Hive中有两种表

                 内表:  数据存放在 /user/hive/warehouse

                  外表:   数据存放在其它地方,(创建表的时候加external关键字)  可能是HBase,或HDFS其它地方

                 内外表的删除是有区别的:

                           内表:    由hive管理,删除表时,元数据与数据都将被删除

                           外表:      删除表时,只删除元数据

                hive还有一个分区操作,可以添加分区.

猜你喜欢

转载自blog.csdn.net/weixin_39594447/article/details/86609772