1.hive系统架构:
MetaStore(Derby、MySQL)
HDFS(/user/hive/warehouse)
MapReduce
2.hive配置文件:
hive-env.sh
hive-site.xml
hive-log4j.properties
3.hive命令行:
hive --config
hive shell(quit,exit reset set add,list,delete files !<command> dfs<command> HQL source files)
hive service(hive --service cli hive --service hiveserver hive --service metastore hive --service hwi hive --service jar)
4.hiveQL:
语法关键字:(show databases show PARTITIONS show tables create table load data(local) inpath select * from desc,alert,drop limit,as,case when then,union like,group by,having order by,sort by cluster by)
数据类型:简单类型(tinyint,smallint,int,bigint float,double boolean string timestamp binary)
复杂类型(array map struct)
表:内部表
外部表(HDFS HBase Cassandra DynamoDB)
表查询:(单表查询 inner joins outer joins semi joins map joins 子查询 视图)
5.数据表设计(每日一表 每日一表分区 按桶分散数据)
6.hive优化:(表分区Partitions 表存储桶buckets 表压缩 索引(bitmap indexes) 执行计划 控制mapper.reduce数量)
7.访问方式:(hive shell java jdbc api thrift client rhive)
8.自定义函数:(自定义函数UDF 自定义聚合函数UADF)
9.hive安全:
认证(hive.files.umask.value hive.metastore.authorization.storage.checks hive.metastore.execute.setugi)
授权(hive.security.authorization.enabled hive.security.authorization.createtable.owner.grants hive.security.authorization.createtable.user.grants)
权限模型(user group role)
10.web控制台(hwi:9999)
11.软件集成(Zookeeper Thrift Ooize HCatalog AWS)
12.hive案例