CentOS7部署HDP3.1.0.0

Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具,Ambari已支持大多数Hadoop组件,包括HDFSMapReduceHivePig HbaseZookeeperSqoopHcatalog等。提供Web UI进行可视化的集群管理,简化了大数据平台的安装、使用难度。

主机配置规划

主机名 IP 配置 操作系统 角色
c1.heboan.com 10.1.1.121 2核/8G CentOS Linux release 7.2.1511 Ambari server, mariadb
c2.heboan.com 10.1.1.120 2核/8G CentOS Linux release 7.2.1511 agent
c3.heboan.com 10.1.1.120 2核/8G CentOS Linux release 7.2.1511 agent

准备好软件包放到/root/rools/目录下

设置主机名

绑定主机名与ip的关系

10.1.1.120 c1.heboan.com
10.1.1.121 c2.heboan.com
10.1.1.122 c3.heboan.com
/etc/hosts

配置文件打开数

#vim /etc/security/limits.conf
//末尾加上
* soft nofile 32768
* hard nofile 1048576
* soft nproc 65536
* hard nproc unlimited
* hard memlock ulimited
* soft memlock unlimited
/etc/security/limits.conf

关闭防火墙和selinux

ntp服务配置

设置swap

echo vm.swappiness = 10 >> /etc/sysctl.conf
sysctl -p
/etc/sysctl.conf

设置透明大页面

# echo never > /sys/kernel/mm/transparent_hugepage/defrag
# echo never > /sys/kernel/mm/transparent_hugepage/enabled


将如下脚本添加到/etc/rc.d/rc.local文件中
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then echo never > /sys/kernel/mm/transparent_hugepage/enabled fi if test -f /sys/kernel/mm/transparent_hugepage/defrag; then echo never > /sys/kernel/mm/transparent_hugepage/defrag fi
设置透明大页面

安装jdk

tar xf jdk-8u131-linux-x64.tar.gz -C /usr/local/
cd /usr/local/;ln -s jdk1.8.0_131 jdk
vim /etc/profile.d/jdk.sh
    export JAVA_HOME=/usr/local/jdk
    export JAVA_BIN=/usr/local/jdk/bin
    export PATH=$PATH:$JAVA_HOME/bin
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export JAVA_HOME JAVA_BIN PATH CLASSPATH
source /etc/profile.d/jdk.sh
/etc/profile.d/jdk.sh

搭建本地yum源(c1.heboan.com)

安装httpd服务

yum install -y httpd
systemctl start httpd

猜你喜欢

转载自www.cnblogs.com/sellsa/p/11485388.html