本地部署编写scala

解压hadoop-2.5.2版本

hadoop-2.5.2下载链接: https://pan.baidu.com/s/1le6fYpqnvhtaN2qlkz1myg 提取码: m3vn
在这里插入图片描述
将winutils放入到bin目录下,如图所示:winutils下载:链接: https://pan.baidu.com/s/1Vz0KLzrc38nYO_axLOgAbw 提取码: 1yz9
在这里插入图片描述

将hadoop.dll放入到C:\Windows\System32 下载链接: https://pan.baidu.com/s/1vumDH7c_DwMCIV883N6r3g 提取码: bykw 在这里插入图片描述
在配置环境变量。此电脑右键–属性–高级系统设置在这里插入图片描述
点击 环境变量 点击上面的 用户变量 进行编辑
在这里插入图片描述
变量名为 HADOOP_HOME,变量值为你刚刚解压的hadoop-2.5.2的文件夹路径
在这里插入图片描述
在这里插入图片描述
保存!

eclipse阶段

打开eclipse —File—import—在这里插入图片描述
导入learning-spark-master源码,下载链接: https://pan.baidu.com/s/1S8mXdMJa_zNhUB0SRVbmGQ 提取码: k7d5 在这里插入图片描述

然后打开eclipse — window–perferences—maven—user settings .在这里插入图片描述
要是没有settings.xml文件,则打开c盘创建一个settings.xml,并在里面写入如下内容:

<?xml version="1.0" encoding="UTF-8"?>
<settings xmlns="http://maven.apache.org/SETTINGS/1.0.0"
          xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
          xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd">
    <mirrors>
        <!-- 阿里云仓库 -->
        <mirror>
            <id>alimaven</id>
            <mirrorOf>central</mirrorOf>
            <name>aliyun maven</name>
            <url>https://maven.aliyun.com/repository/central</url>
        </mirror>
    
        <!-- 中央仓库1 -->
        <mirror>
            <id>repo1</id>
            <mirrorOf>central</mirrorOf>
            <name>Human Readable Name for this Mirror.</name>
            <url>http://repo1.maven.org/maven2/</url>
        </mirror>
    
        <!-- 中央仓库2 -->
        <mirror>
            <id>repo2</id>
            <mirrorOf>central</mirrorOf>
            <name>Human Readable Name for this Mirror.</name>
            <url>http://repo2.maven.org/maven2/</url>
        </mirror>
    </mirrors> 
</settings>

在这里插入图片描述
在这里插入图片描述

clean compile scala:compile package -DskipTests

在这里插入图片描述
若这里不会添加jdk。详情见本文章最下面
在这里插入图片描述
run一下。如果控制台有build-success则表示配置成功。

下载scala插件

在这里插入图片描述
在这里插入图片描述
默认配置然后耐心等待。安装好以后在运行项目,找到Wordcount运行在这里插入图片描述

注:详情配置eclipse里的jdk
在这里插入图片描述
在这里插入图片描述

点击黑处

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

发布了16 篇原创文章 · 获赞 10 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/weixin_43869290/article/details/89138235