HDFS基本环境(存储)
一 . 安装JDK
- 解压:
rmp -ivh jdk-8u171-linux-x64.rpm
- 配置环境变量JAVA_HOME:
vi .bashrc
注意:
vi .bashrc 配置当前用户的环境变量
JAVA_HOME=/usr/soft/jdk1.8
CLASSPATH=.
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME
export CLASSPATH
export PATH
- 更新配置:
source .bashrc
二 . 关闭防火墙
systemclt stop firewalld
关闭防火墙systemclt disable firewalld
关闭开机自启
三. 配置主机名和IP映射关系
vi /etc/hostname
vi /etc/hosts
- 更改完主机名需要重启
reboot
四. 配置SSH免密码登录
- 生成公私钥:
ssh-keygen -t rsa
- 将公钥配置到登录机器的信任文件中:
ssh-copy-id 主机名
- 测试:
ssh 主机名
五. 安装hadoop 并解压
注意:/soft
是我特意在/usr
下创建放软件的目录
tar -zxvf hadoop-2.9.2.tar.gz -C /usr/soft/
- 配置环境变量 HADOOP_HOME
vi .bashrc
HADOOP_HOME=/usr/soft/hadoop-2.9.2
JAVA_HOME=/usr/soft/jdk1.8
CLASSPATH=.
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME
export CLASSPATH
export PATH
export HADOOP_HOME
- 更新配置
source .bashrc
hadoop classpath
打印hadoop的类路径测试是否安装成功- 修改core-site.xml
vim /usr/soft/hadoop-2.9.2/etc/hadoop/core-site.xml
<!--nn访问入口-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://主机名:9000</value>
</property>
<!--hdfs工作基础目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/soft/hadoop-2.9.2/data</value>
</property>
- 修改hdfs-site.xml
vim /usr/soft/hadoop-2.9.2/etc/hadoop/hdfs-site.xml
<!--block副本因子-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--配置Sencondary namenode所在物理主机-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>主机名:50090</value>
</property>
<!--设置datanode最大文件操作数-->
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
<!--设置datanode并行处理能力-->
<property>
<name>dfs.datanode.handler.count</name>
<value>6</value>
</property>
- 修改slaves
vim /usr/soft/hadoop-2.9.2/etc/hadoop/slaves
写主机名 - 格式化NameNode 生成FsImage
hdfs namenode -format
- 启动HDFS服务
start-dfs.sh
六. zookeeper安装(协调者)
- 上传并解压
tar -zxvf zookeeper-3.4.12.tar.gz -C /usr/soft
- 拷贝zoo.cfg
cp /usr/soft/zookeeper-3.4.12/conf/zoo_sample.cfg /usr/soft/zookeeper-3.4.12/conf/zoo.cfg
- 配置zookeeper的zoo.cfg
vi /usr/soft/zookeeper-3.4.12/conf/zoo.cfg
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
#我们只需要将这里修改成你在/root下创建的文件即可
dataDir=/root/zkdata
# the port at which the clients will connect
clientPort=2181
- 创建zookeeper的数据目录
mkdir /root/zkdata
- 启动zookeeper服务
启动命令在bin目录里
./bin/zkServer.sh start zoo.cfg
执行到这里时 我们终于把Hbase需要的环境搭好 现在可以步入主题安装Hbase了
七. Hbase配置与安装(数据库服务)
- 上传安装包并解压:
tar -zxf hbase-1.2.4-bin.tar.gz -C /usr/soft
- 配置Hbase环境变量 HBASE_HOME
vi .bashrc
HBASE_HOME=/usr/soft/hbase-1.2.4
HADOOP_HOME=/usr/soft/hadoop-2.9.2
JAVA_HOME=/usr/soft/jdk1.8
CLASSPATH=.
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin
export JAVA_HOME
export CLASSPATH
export PATH
export HADOOP_HOME
export HBASE_HOME
- 更新配置
source .bashrc
- 测试:
hbase classpath
测试Hbase是否识别Hadoop - 配置hbase-site.xml
- 修改hbse-env.sh 将HBASE_MANAGES_ZK修改为false
grep -i HBASH_MANAGES_ZK conf/hbase-env.sh
查找是否存在此配置
# export HBASE_MANAGES_ZK=true
vi conf/hbase-env.sh
将#号去掉 把ture改为false - 修改regionservers
[root@hbase8 hbase-1.2.4]# vim conf/regionservers
hbase5
export HBASE_MANAGES_ZK=false #告知Hbase 使用外部zookeeper
- 启动Hbase
在bin目录中启动:./bin/start-hbase.sh
- 验证Hbse安装是否成功
jps查看进程
3090 NameNode
5027 HMaster
3188 DataNode
5158 HRegionServer
3354 SecondaryNameNode
5274 Jps
3949 QuorumPeerMain
WebUI 验证 http://ip:16010/