本地安装hadoop单机模式的时候需要启动namenode。我使用的是hadoop 3.0,配置文件如下:
site-core.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
使用如下可以生成谜钥免密码登录:
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
格式化节点:
bin/hdfs namenode -format
可以启动节点:
$ sbin/start-dfs.sh
但是报错:
pdsh@xxx: localhost: connect: Connection refused
原因是pdsh默认采用的是rsh登录,修改成ssh登录即可,在环境变量/etc/profile里加入:
export PDSH_RCMD_TYPE=ssh
再source profile生效。然后再启动查看jps即可看到hdfs服务启动。