目录
1 需要的软件
winutils-master:windows模拟linux 环境
hadoop-2.7.3.tar.gz:hadoop编译后的包
hadoop_conf.tar:hadoop的配置
hadoop_windows.zip:windows的hadoop配置
2 前提:需要修改通知级别
win7
win10
3 压缩文件解压顺序及方法
1 解压hadoop-2.7.3.tar.gz,到C盘的某个目录下;
2 解压winutils-master.zip,将解压的hadoop-2.7.1/bin文件夹内的内容拷贝到hadoop-2.7.3\bin目录下,
注意,千万别覆盖bin目录下的其他文件;
3 解压hadoop_conf.tar, 然后将解压的hadoop文件夹内的内容替换到hadoop-2.7.3\etc\hadoop目录下;
4 解压hadoop-window.zip,然后将解压的hadoop文件夹内的内容做修改后,替换到hadoop-2.7.3\etc\hadoop;
4 在WINDOWS上配置环境变量
1)HADOOP_HOME
2)把hadoop的bin和sbin配置到path环境变量里
;%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin
5 设置hadoop配置文件
core-site.xml
hdfs-site.xml
maprd-site.xml
yarn-site.xml
hadoop-env.cmd
把修改好的配置文件覆盖hadoop-2.7.3\etc\hadoop目录
6 测试hadoop命令
win10支持Linux命令的工具:windows powershell 工具
打开cmd输入set查看设置的环境变成是否生效
输入hadoop version查看hadoop的版本
7 格式化namenode
hadoop namenode -format
8 启动hdfs
start-dfs.cmd 之后弹出两个窗口
namenode
datanode
之后在电脑上的c盘就能看到tmp目录,里面有namenode文件和datanode文件
启动成功之后就可以查看hdfs的web页面
9 启动yarn
start-yarn.cmd之后弹出两个窗口
resourceManager
nodeManager
查看yarn的web界面
10 测试hdfs是否好用
11 开启和关闭
start-all.cmd开启hadoop
stop-all.cmd关闭hadoop
debug命令
F2:显示类的带有包名的类名
F3:进入类里面
F4:查看该类的上下级关系
F6:执行一个语句
F8:一直运行,直到遇到断点停止
调试hadoop命令
1)配置pom.xml
2)创建资源文件夹,把etc/hadoop/core-site.xml 复制到 资源文件夹下
3)模仿FsShell 类的main(),来调用FsShell 命令。
hadoop fs -get
hadoop fs -ls /
----------------------------------------------------------------------------------------------------
----------------------------------------------------------------------------------------------------
----------------------------------------------------------------------------------------------------
-----------------------------------------------------------------------------------------------------------
-----------------------------------------------------------------------------------------------------------