转载至:https://blog.csdn.net/u012292754/article/details/82745599
1 体系图
1.1 写数据流程
- client向hregionserver发送写请求。
- hregionserver将数据写到hlog(write ahead log)。为了数据的持久化和恢复。
- hregionserver将数据写到内存(memstore)
- 反馈client写成功。
1.2 数据flush过程
- 当memstore数据达到阈值(默认是64M),将数据刷到硬盘,将内存中的数据删除,同时删除Hlog中的历史数据。
- 并将数据存储到hdfs中。
- 在hlog中做标记点。
1.3 数据合并过程
- 当数据块达到4块,hmaster将数据块加载到本地,进行合并
- 当合并的数据超过256M,进行拆分,将拆分后的region分配给不同的hregionserver管理
- 当hregionser宕机后,将hregionserver上的hlog拆分,然后分配给不同的hregionserver加载,修改.META.
- 注意:hlog会同步到hdfs
1.4 hbase的读流程
- 通过zookeeper和-ROOT- .META.表定位hregionserver。
- 数据从内存和硬盘合并后返回给client
- 数据块会缓存
1.5 hmaster的职责
- 管理用户对Table的增、删、改、查操作.
- 记录region在哪台Hregion server上
- 在Region Split后,负责新Region的分配;
- 新机器加入时,管理HRegion Server的负载均衡,调整Region分布
- 在HRegion Server宕机后,负责失效HRegion Server 上的Regions迁移。
1.6 hregionserver的职责
- HRegion Server主要负责响应用户I/O请求,向HDFS文件系统中读写数据,是HBASE中最核心的模块。
- HRegion Server管理了很多table的分区,也就是region。
1.7 client职责
- HBASE Client使用HBASE的RPC机制与HMaster和RegionServer进行通信
- 管理类操作:Client与HMaster进行RPC;
- 数据读写类操作:Client与HRegionServer进行RPC。
————————————————
版权声明:本文为CSDN博主「一角残叶」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/u012292754/article/details/82745599