- 利用apt-get install 命令安装cdh3,所以首先要添加它的库(repository),方法如下:
新建文件/etc/apt/sources.list.d/cloudera.list,内容如下
deb http://archive.cloudera.com/debian <RELEASE>-cdh3 contrib
deb-src http://archive.cloudera.com/debian <RELEASE>-cdh3 contrib
deb-src http://archive.cloudera.com/debian <RELEASE>-cdh3 contrib
其中<RELEASE>部分要用lsb_release -c命令的结过替换。如我的电脑的执行结果如下所示
hadoop@hzs-755-hzhang-desktop:/usr/lib$ lsb_release -c Codename: lucid
那么替换的结果如下所示
deb http://archive.cloudera.com/debian lucid-cdh3 contrib
deb-src http://archive.cloudera.com/debian lucid-cdh3 contrib
deb-src http://archive.cloudera.com/debian lucid-cdh3 contrib
保存退出。
执行一下下面的命令:
$ curl -s http://archive.cloudera.com/debian/archive.key | sudo apt-key add -
- 上面已经完成了库的添加,下面就可以安装了
- 更新apt包的索引
$ sudo apt-get update
- 我们要安装hadoop,所以搜索下有哪些可用的版本
apt-cache search hadoop
- 安装hadoop-0.20
sudo apt-get install hadoop-0.20
- 安装完成后,接下来配置一下hadoop的伪分布式模式
conf/core-site.xml :
<configuration> |
<property> |
<name>fs.default.name</name> |
<value>hdfs://localhost:9000</value> |
</property> |
</configuration> |
conf/hdfs-site.xml :
<configuration> |
<property> |
<name>dfs.replication</name> |
<value>1</value> |
</property> |
</configuration> |
conf/mapred-site.xml :
<configuration> |
<property> |
<name>mapred.job.tracker</name> |
<value>localhost:9001</value> |
</property> |
</configuration> |
同时别忘了修改hadoop-env.sh文件,指定一下JAVA_HOME的值。
- 由于cdh版本的hadoop不能用root帐户启动,所以我们接下来要创建hadoop用户和组
- 创建组hadoop,
sudo groupadd hadoop
- 创建用户hadoop,
sudo useradd -g hadoop -d /home/hadoop -m hadoop
- 修改用户hadoop的密码
sudo passwd hadoop
- 切换到用户hadoop
su - hadoop
- 验证下如下命令是否需要输入密码,
ssh localhost
如果需要密码,那么执行$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
- 最后启动hadoop,并通过访问下面两个连接,如果可以访问说明hadoop安装成功。
bin/start-all.sh
NameNode - http://localhost:50070/
JobTracker - http://localhost:50030
参考:
https://ccp.cloudera.com/display/CDHDOC/CDH3+Installation
http://hadoop.apache.org/common/docs/r0.20.2/quickstart.html