Hive与Hadoop实现整合实战

1、Hive架构与应用场景

Hive架构:

1. MetaStore

MetaStore表示元数据存储,所谓的元数据就是hive创建的数据库、表等信息,这些元数据可以存储在关系型数据库Derby、MySQL中。

可以把MetaStore理解为后端数据库的代理层,hive客户端连接到MetaStore后,MetaStore再去连接后端MySQL数据库来存取元数据,这样,就可以有多个hive客户端同时连接到MetaStore,而且这些客户端不需要知道MySQL数据库的用户名和密码,它们只需要连接MetaStore服务即可。

2. HiveServer/ HiveServer2

顾名思义,这是hive上启动的一个服务,早期的hive版本中,启动的服务是HiveServer,此服务启动后,hive客户端就可以通过IP加端口的方式对hive进行访问,此服务主要用于远程客户端使用各种编程语言向Hive提交请求并查询结果的情况。远程客户端可以通过jdbc、odbc等开发接口访问HiveServer服务。

由此可知,HiveServer是一种可选服务,当有程序需要连接hive的时候,才需要它,这也是生产环境使用最多的一种方式。但HiveServer无法处理来自多个客户端的并发请求,因此,从Hive 0.11.0版本开始,HiveServer2替代了HiveServer。

3. Hive CLI

猜你喜欢

转载自blog.csdn.net/qq_35029061/article/details/132289025