Win10--Spark2.3 + hadoop3.1 本地环境搭建

在使用docker 未果的情况下,无奈采用本地环境搭建。中间有部分坑( 此篇 为64位的环境, 如果是32位 则无需更换bin内容)

准备工作

  1. Hadoop 所需要更换的bin目录下的文件
  2. Hadoop3.1 进行下载
  3. Spark2.3.1 下载包
  4. JDK1.8

进行配置

  • 将 下载好的Hadoop 和 Spark进行解压,我进行了重命名 如图1.1
    这里写图片描述

    图1.1

  • 将 准备工作中 第一项下载的包进行解压。并进行更换 解压的hadoop3.1.0下的/bin目录里的文件(如图1.2)
    这里写图片描述

    图1.2

  • 进行配置我们需要的环境变量(如图1.3)
    这里写图片描述

    图1.3

配置内容如下:
这里写图片描述

这里写图片描述

扫描二维码关注公众号,回复: 2166863 查看本文章

这里写图片描述

测试

我们进行输入spark-shell 可以看到已经可以正常。并且没有报错内容

这里写图片描述

猜你喜欢

转载自blog.csdn.net/qq_15807167/article/details/81008644