hive表自增列实现方法（完全实现表中数据自增列唯一）之优化一（加快文件处理速度，已经非常非常快了）

Hive表自增列的实现，我在网上找了好久，大都是自己编写UDF（或者是UDAF/UDTF）之类的，或者是直接使用hive的lib库中提供的jar包，加载之后创建方法，然后在hive sql中调用，不过这些都会遇到一个问题：在多map任务的SQL中，每个map处理之后的多个文件，每个文件中的记录都是从1开始自增，并不能真正的实现hive表中所有的记录都有唯一编号，而且是自增的效果。在和别人讨论时，有人提到过一个比较好的方法：

使用shell脚本处理hive表下的文件：

1. 下载hive表对应的文件到linux本地系统。

2. shell命令读取文件的每一行内容，然后在最开始添加自增编号以及行字段分隔符（这个分隔符是在hive建表时指定的，要和建表语句分隔符保持一致），之后将处理之后的该行内容，写入新的文件中。

3. 将新的文件上传到带有自增列的hive表中。
下面是我的代码：

1. 创建原始表，不包含自增列：

CREATE TABLE `test.wzq_matcheducation_temp`(

  `userid` bigint,

  `value` string)

ROW FORMAT DELIMITED

  FIELDS TERMINATED BY '\t'

  NULL DEFINED AS ''

STORED AS INPUTFORMAT

  'org.apache.hadoop.mapred.TextInputFormat'

OUTPUTFORMAT

  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'

location信息：/user/hive/warehouse/test.db/wzq_matcheducation_temp

2. 创建数据表，包含自增列：

CREATE TABLE `test.wzq_matcheducation`(

  `id` bigint,

  `userid` bigint,

  `value` string)

ROW FORMAT DELIMITED

  FIELDS TERMINATED BY '\t'

  NULL DEFINED AS ''

STORED AS INPUTFORMAT

  'org.apache.hadoop.mapred.TextInputFormat'

OUTPUTFORMAT

  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'

location信息：/user/hive/warehouse/test.db/wzq_matcheducation

3. 编写hiveSQL，将数据导入原始表：

insert overwrite table test.wzq_matcheducation_temp

select userid, matcheducation

from bidp.user_cloud

where matcheducation like '%8%'

order by userid

4. 编写文件自增列数据处理shell脚本（重要）！！！脚本很简单，自己看吧。

#!/bin/bash

base_path=/home/work/modify_hbase/shell/column_auto_increment

read -p '------请输入要处理的hive表文件对应的目录路径：' hdfs_path_old

read -p '------请输入有自增列的hive表文件对应的目录路径：' hdfs_path_new

echo -e "------`date "+%y/%m/%d %H:%M:%S"`：正在下载hive表对应目录下的所有文件到linux系统中"

rm -rf $base_path/data

mkdir -p $base_path/data/tmp_old

mkdir -p $base_path/data/tmp_new

hadoop fs -get $hdfs_path_old/* $base_path/data/tmp_old

echo -e "------`date "+%y/%m/%d %H:%M:%S"`：hive表对应目录下的所有文件下载完毕"

cd $base_path/data/tmp_old

#给每个文件添加自增列

i=1

for file in $(ls)

    do

        cat $file | while read line

            do

                echo -e "$i\t$line" >> $base_path/data/tmp_new/$file

                let i++

            done

    done

echo -e "------`date "+%y/%m/%d %H:%M:%S"`：每个数据文件的自增列添加完毕，开始上传所有处理完的数据文件..."

hadoop fs -put $base_path/data/tmp_new/* $hdfs_path_new

echo -e "------`date "+%y/%m/%d %H:%M:%S"`：数据上传完毕，请手动检查结果：1.查询几条数据；2.查询自增列最大值；3.查询表数据量；4.对比2和3的结果是否一致"

exit 0

下面给出脚本代码截图：

5. 执行脚本：

两个文件路径分别是原始表数据文件路径和数据表数据路径。执行开始之后，查看脚本执行时输出的日志即可。执行完之后，按照脚本中说的方法进行检查即可。

以上就是为hive表添加自增列的方法，不过这个方法也有很多局限性，比如文件内容修改速度很慢（shell脚本读写文件较慢，我觉得可以使用java程序读取hdfs上的文件，然后进行批处理之类的，可以加快文件处理速度）、如果单个文件过大，大量占用机器内存（可以将文件做切割处理）。

重点！！！优化

1. shell脚本按行处理文本文件优缺点（针对该需求来说）：

1. 优点：

1. 脚本代码编写简单

2. 易测试，边写边测

2. 缺点：

1. 处理速度极慢

一个532.2 M的文件，3300w行，给每行数据之前添加一些内容，然后写入新的文件，需要超过10分钟的时间。

2. shell脚本不能直接处理hdfs文件系统上的文件，还需要先把需要处理的文件下载下来，然后再进行处理，最后再把处理完的文件上传到hdfs上。

2. java程序按行处理hdfs上的文件优缺点：

1. 优点：

1. 处理速度极快：

一个2.1 G的文件，8100w行，给每行数据之前添加一些内容，然后写入新的文件，只需要不到50秒的时间。和shell脚本处理文件的速度换算一下，大概是将10分钟缩短到了10~20s吧，这还不算shell脚本上传下载文件的时间。总之，java程序处理文件的速度要快得多！！！

2. 省去下载上传文件的步骤：

java程序可以创建hdfs文件的输入输出流，包装为按行处理的流之后，可以直接按行读取HDFS上的文件，然后直接写入HDFS新的文件中，而不用将HDFS上的文件下载到linux本地，处理完之后，将新的文件上传到HDFS。

2. 缺点：

1. 代码编写比较繁琐：

需要将文件流进行包装，需要研究各种文件流的操作方式，写bug，改bug……。

2. 测试、运行比较繁琐：

不像shell脚本，写完之后就可以直接运行测试，java程序需要打包、上传、然后才能提交给Hadoop执行（公司有跳板机，不能直接连接服务器！！！MMP，测试程序烦得要死！！！）。

3. java程序代码

代码虽然比较简单，但是也比较多……所以我上传到百度网盘上，给大家分享一下吧（还没研究GitHub使用细节）。

这是个IDEA编写的项目，导入IDEA即可查看。jdk版本：1.8

百度网盘分享链接和密码：

链接：https://pan.baidu.com/s/19e4dOtM2OJN2KbSyYbnoSQ 密码：t7kd

hive表自增列实现方法（完全实现表中数据自增列唯一）之优化一（加快文件处理速度，已经非常非常快了）

猜你喜欢