spark 向 mysql 推数 mysql 报错 to many connections

这是因为spark 向 mysql 推数的时候创建了太多的连接,把连接干满了。
1.把连接加大(也不要加太多,太多了可能影响性能)

//查看最大连接数
SHOW VARIABLES LIKE '%max_connections%';
//设置最大连接数
SET GLOBAL max_connections = 300;

2.减小spark分区

spark.default.parallelism=100 
spark.sql.shuffle.partitions=100

猜你喜欢

转载自blog.csdn.net/weixin_45580378/article/details/129296545