在centos7系统中,将spark运行在yarn上出现以下报错
java.io.IOException: Cannot run program "python3": error=2, No such file or directory
出现原因:
1、可能是真没有python3的文件
2、环境变量的配置出现问题
解决方法:
下载python3并且设置环境变量
# 下载 python3.8
yum install python3.8
# 查找位置
whereis python3.8
# 配置环境变量
export PYSPARK_PYTHON=$python
2、直接配置环境变量
export PYSPARK_PYTHON=$python
$python :python可执行文件的位置