kylin问题记录

1、kylin可以先全量cube再增量cube吗

回答:不可以;要么全量,要么增量

解决方案:建立两个mode,在增量mode中的Model Designer的最后一步Settings来添加分割时间列;再建立两个cube---一个相同的全量cube和一个相同的增量cube(有时间分割)

我正在尝试使用现有的Hbase表创建和集成Hive表。它创建了一个蜂巢表。但是当我尝试查询hive表时,它会抛出以下异常,尤其是当列数超过数量时

我检查了hbase和hive中的#列相同。没有得到适当的解决方案来调试它

 RuntimeException MetaException(message:org.apache.hadoop.hive.serde2.SerDeException org.apache.hadoop.hive.hbase.HBaseSerDe: columns has 196 elements while hbase.columns.mapping has 122 elements (counting the key if implicit))

根本原因:

对于4000个字符,hive Metastore中SERDE_PARAMS表中PARAM_VALUE字段的字符限制是此问题的根本原因。此限制可防止Hive创建具有高列数的表,最终导致desc或select * from失败并出现上述错误。

解决方法:通过在hive Metastore中执行以下操作可以解决此问题

在mysql中执行

alter table SERDE_PARAMS MODIFY PARAM_VALUE VARCHAR(400000000);

删除hive表:drop table  ***_external_all

重新再建一次hive与hbase整合的hive外部表语句

再次执行sql:

select count(1) from ***_external_all

执行结果:

cube时快照过大会报错:

kylin.snapshot.max-mb 默认300mb  参数设置大点
发布了43 篇原创文章 · 获赞 34 · 访问量 19万+

猜你喜欢

转载自blog.csdn.net/lin443514407lin/article/details/95942773