Apache Hive
Apache Hive 数据仓库软件帮助在分布式存储中读取、写入和管理大型数据集,并使用SQL语法查询。
Hive是在Apache Hadoop之上构建的,它提供了以下特性:
- 是一个能够通过SQL轻松访问数据的工具,从而支持数据仓库任务,如提取/转换/加载(ETL)、报告和数据分析等。
- 一种将结构强加于各种数据格式的机制
- 对存储在 Apache HDFS 或其他数据存储系统中的文件的访问,如 Apache HBase™
- 通过 Apache Tez™、Apache Spark™ 或 MapReduce™ 执行查询
- HPL-SQL 程序语言
- 通过 Hive LLAP、Apache YARN 和 Apache Slider 进行次秒查询检索
Hive 提供了标准的 SQL 功能,包括许多后来的 SQL:2003 和 SQL:2011 的分析功能。
用户也可以通过自定义函数(udf)、聚合(UDAFs)和表函数(udf)来扩展 Hive 的 SQL 。
Hive 不能使用 “Hive format” 来指定数据存储。Hive 内置了逗号和文本文件制表符值(CSV/TSV) ,Apache Parquet™, Apache ORC™, 和其他格式的连接器。(Hive comes with built in connectors for comma and tab-separated values (CSV/TSV) text files, Apache Parquet™, Apache ORC™, and other formats. )
用户也可以为 Hive 扩展其他格式的连接器。详细信息请参考 Developer Guide 的 File Formats and Hive SerDe。
Hive 不是为联机事务处理工作负载而设计的。它最好用于传统的数据仓库任务。
Hive 是为了最大化可伸缩性scalability (在 Hadoop 集群中动态添加更多的机器),性能、可扩展性extensibility、容错和与输入格式的松耦合而设计的。
Hive 包括 HCatalog 和 WebHCat 组件: