昨天在安装配置完Sark分布式环境后（Hadoop版本2.6.0-cdh5.7.0，Spark版本1.6.0-cdh5.7.0），使用命令start-all启动时发现Master和Worker都未能启动，使用命令start-master启动时发现Master无法启动。查看out日志文件发现还是Hadoop的classpath指定问题，修改spark-env文件后，Master可以成功启动。但是out日志文件信息提示缺少slf4j日志组建jar包，将Hadoop中的slf4j相关jar文件以及common-log4j的相关jar文件复制到Spark的lib目录下后，之前的提示虽然没有了，可是又出现了Caused by: java.lang.ClassNotFoundException: com.fasterxml.jackson.databind.Module异常提示。从网上下载jackson2.4.4版本复制到Spark的lib目录下无效，于是将jackson2.4.4也复制到Hadoop的share/hadoop/common/lib目录下，重新启动Master，成功！
关于Spark分布式安装过程中Master端启动中遇到的问题（1）
猜你喜欢
转载自blog.csdn.net/pangjuan2003/article/details/81660230
今日推荐
周排行