这是因为spark 向 mysql 推数的时候创建了太多的连接,把连接干满了。
1.把连接加大(也不要加太多,太多了可能影响性能)
//查看最大连接数
SHOW VARIABLES LIKE '%max_connections%';
//设置最大连接数
SET GLOBAL max_connections = 300;
2.减小spark分区
spark.default.parallelism=100
spark.sql.shuffle.partitions=100
这是因为spark 向 mysql 推数的时候创建了太多的连接,把连接干满了。
1.把连接加大(也不要加太多,太多了可能影响性能)
//查看最大连接数
SHOW VARIABLES LIKE '%max_connections%';
//设置最大连接数
SET GLOBAL max_connections = 300;
2.减小spark分区
spark.default.parallelism=100
spark.sql.shuffle.partitions=100