hivesql中set可以设置哪些参数
AI: 在HiveQL中,SET命令可以用于设置以下参数:
-
hive.execution.engine:指定Hive的执行引擎,包括MapReduce、Tez、Spark等。
-
hive.exec.dynamic.partition:指定动态分区的模式,包括strict、nonstrict和strict_all。
-
hive.optimize.sort.dynamic.partition:指定是否启用动态分区排序。
-
hive.exec.parallel:指定是否启用并行执行。
-
hive.map.aggr:指定是否启用Map端聚合。
-
hive.exec.reducers.bytes.per.reducer:指定每个Reducer处理的数据大小。
-
hive.exec.compress.output:指定是否启用输出压缩。
-
hive.exec.compress.intermediate:指定是否启用中间数据压缩。
-
hive.vectorized.execution.enabled:指定是否启用向量化执行。
-
hive.vectorized.execution.reduce.enabled:指定是否启用向量化Reduce。
-
hive.optimize.sort.bucketmapjoin:指定是否启用Bucket Map Join优化。
-
hive.auto.convert.join:指定是否自动转换Join。
-
hive.auto.convert.join.noconditionaltask:指定是否自动转换Join中没有条件的Task。
-
hive.auto.convert.join.noconditionaltask.size:指定自动转换Join中没有条件的Task的最大数据大小。
-
hive.cbo.enable:指定是否启用Cost-Based Optimizer。
-
hive.stats.autogather:指定是否自动收集表的统计信息。
-
hive.stats.fetch.column.stats:指定是否收集列统计信息。
-
hive.stats.fetch.partition.stats:指定是否收集分区统计信息。
-
hive.stats.jdbc.timeout:指定收集统计信息时JDBC连接的超时时间。
-
hive.tez.container.size:指定每个Tez Container的大小。
-
hive.tez.java.opts:指定Tez JVM的参数。
22.hive.tez.auto.reducer.parallelism:指定是否自动设置Reducer的并行度。
hiveSQL中set设置本地运行模式
AI: 在HiveSQL中,可以使用SET命令设置本地运行模式。具体命令为:
SET hive.exec.mode.local.auto=true;
这个命令会在本地运行模式和MapReduce运行模式之间自动选择。如果数据量很小,Hive会自动选择本地运行模式。