问题描述:
Hadoop执行MR的时候批量写Hbase表从而引发了IOException,详情如下:
WARN org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation: Encountered problems when prefetch META table: java.io.IOException: HRegionInfo was null or empty in Meta for XX_TABLE, row=XX_TABLE,3285601788255##648560902425,99999999999999 at org.apache.hadoop.hbase.client.MetaScanner.metaScan(MetaScanner.java:170) at org.apache.hadoop.hbase.client.MetaScanner.access$000(MetaScanner.java:54) at org.apache.hadoop.hbase.client.MetaScanner$1.connect(MetaScanner.java:133) at org.apache.hadoop.hbase.client.MetaScanner$1.connect(MetaScanner.java:130) at org.apache.hadoop.hbase.client.HConnectionManager.execute(HConnectionManager.java:360)
产生问题原因:
在批量对Hbase执行Put操作的时候当Table达到指定的数量时会执行split,从而导致regionserver下线,因此读不到他的信息,从而触发异常。
Put操作一般会触发三大操作Flush,Compact和Split,当需要Flush的时候会进入Flush队列,执行Flush操作;当需要执行Compact操作的时候会进入Compact队列执行Compact;当需要Split的时候执行Split。