Hive建表是学习使用hive的第一步,然后才能基于表对hive数据仓库进行操作。学习建表前,首先要知道hive表的构建属性 ,知道哪些属性是固定的,哪些属性是可以定制的等等。
一.标准hql建表语法格式
1.官方标准语法:(hql不区分大小写,下面[]里的属性是可选属性)
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[PARTITIONED BY(col_name data_type [COMMENT col_comment], ...)]
[CLUSTERED BY (col_name, col_name, ...)
[SORTED BY(col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]
[ROW FORMAT row_format]
[STORED AS file_format]
[LOCATION hdfs_path]
二.标准建表语法各项参数说明
1.CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在,则抛出异常;用户可以用 IF NOT EXISTS 选项来忽略这个异常,一般也可以不加这个IF NOT EXISTS语句,最多抛出错误。
2.EXTERNAL关键字可以让用户创建一个外部表,默认是内部表,外部表在建表的必须同时指定一个指向实际数据的路径(LOCATION),Hive 创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径,不对数据的位置做任何改变。在删除表的时候,内部表的元数据和数据会被一起删除,而外部表只删除元数据,不删除数据。
3.COMMENT 后面跟的字符串是给表字段或者表内容添加注释说明的,虽然它对于表之间的计算没有影响,但是为了后期的维护,所以实际开发都是必须要加COMMENT的。
4. PARTITIONED BY其实是给表做分区,决定了表是否是分区表。Hive中所谓分区表就是将表里新增加一个字段,就是分区的名字,这样你在操作表中的数据时,可以按分区字段进行过滤。具体分区解释后面博客有说明。
5.[ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ] 这里指定表存储中国列的划分格式,默认是\001,这里指定的是逗号分隔符,还可以指定其他列的分隔符,看实际需求
6.STORED AS SEQUENCEFILE|TEXTFILE|RCFILE如果文件数据是纯文本,可以使用 STORED AS TEXTFILE。如果数据需要压缩,使用 STORED AS SEQUENCEFILE。这里主要牵涉到hive存储的三种文件格式,具体区别参考后续博客。
7.CLUSTERED BY对于每一个表(table)或者分区, Hive可以进一步组织成桶,也就是说桶是更为细粒度的数据范围划分。Hive也针对某一列进行桶的组织。Hive采用对列值哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中
8.LOCATION 其实是定义hive表的数据在hdfs上的存储路径,一般管理表(内部表不不要自定义),但是如果定义的是外部表,则需要直接指定一个路径。实际上不指定也没事,会使用默认路径
总结:实际建表可能会对文件的行列分隔符要求自定义,文件的存储方式有所要求 ,表的分区要求是自动分区,表的存储位置要放到指定路径下等等各种不确定需求,建立的表也是定制化的五花八门,但是核心都在这些基础的建表标准语法里进行变动,变动不同模块实现不同需求。
二.Hive基于上面标准建表语法的演示
1.建立一个列分隔符为‘,’的表,默认内部表
create table if not exists track(
id int comment'id',
ipname string comment'ip名称',
zart decimal(10,5) comment'测试小数')
partitioned by (date string,hour string)
row format delimited fields terminated by '\t';
2.使用desc可以,查看表结构,使用describe formatted 可以查看表的详细结构,使用show create talbe可以查看建表语句。
1.查看基础表结构
hive (fdm_sor)> desc track;
OK
col_name data_type comment
id int id
ipname string ip??
zart decimal(10,5) ????
date string
hour string
# Partition Information
# col_name data_type comment
date string
hour string
====================================================================================
2.查看详细的表结构信息
hive (fdm_sor)> describe formatted track;
OK
col_name data_type comment
# col_name data_type comment
id int id
ipname string ip??
zart decimal(10,5) ????
# Partition Information
# col_name data_type comment
date string
hour string
# Detailed Table Information
Database: fdm_sor
Owner: robot
CreateTime: Mon Dec 31 00:23:26 CST 2018
LastAccessTime: UNKNOWN
Protect Mode: None
Retention: 0
Location: hdfs://hadoop102:9000/user/hive/warehouse/fdm_sor.db/track
Table Type: MANAGED_TABLE
Table Parameters:
transient_lastDdlTime 1546187006
# Storage Information
SerDe Library: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
InputFormat: org.apache.hadoop.mapred.TextInputFormat
OutputFormat: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
Compressed: No
Num Buckets: -1
Bucket Columns: []
Sort Columns: []
Storage Desc Params:
field.delim \t
serialization.format \t
====================================================================================
3.查看建表语句,实际很常用的命令
hive (fdm_sor)> show create table track;
OK
createtab_stmt
CREATE TABLE `track`(
`id` int COMMENT 'id',
`ipname` string COMMENT 'ip??',
`zart` decimal(10,5) COMMENT '????')
PARTITIONED BY (
`date` string,
`hour` string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
STORED AS INPUTFORMAT
'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
'hdfs://hadoop102:9000/user/hive/warehouse/fdm_sor.db/track'
TBLPROPERTIES (
'transient_lastDdlTime'='1546187006')
Time taken: 0.033 seconds, Fetched: 17 row(s)
hive (fdm_sor)>
3.关于建立分区表,实际开发中对于表的各种定制,如分区,存储格式,路径,内部表,外部表,以及实际开发中表的使用方式与注意事项,请参考后面博客