1 前言

笔者之前发表过一篇关于Cloudera的配置文档，感觉还算受欢迎，旧文请参阅。

2 实践部分

2.1 基本信息

Hostname=HD0[1-5].cmdschool.org

Ipaddress=10.168.0.2[4-8]

OS Version=CentOS 7.3

2.2 环境配置

2.2.1 配置IP地址

In HD01-05:

注：第五行的“XX”部分是主机号

2.2.2 配置主机名称

In HD01-05:

hostnamectl set-hostname HDXX.sae.com.hk

注：“XX”部分是主机名称编号

2.2.3 关闭SELinux

In HD01-05:

如果显示如下：

则执行：

2.2.4 配置名称解析

In HD01-05:

2.2.5 配置时区

In HD01-05:

2.2.6 关闭防火墙并设置开机不启动

In HD01-05:

2.2.7 优化虚拟内存需求率

In HD01-05：

1)检查虚拟内存需求率

显示如下：

2)临时降低虚拟内存需求率

3)永久降低虚拟内存需求率

并运行如下命令使生效

2.2.8 解决透明大页面问题

In HD01-05：

1)检查透明大页面问题

如果显示为：

2)临时关闭透明大页面问题

确认配置生效：

应该显示为：

3)配置开机自动生效

2.2.9 安装JDK

In HD01-05：

1)查询是否存在yum安装的java包

注意：存在yum安装的rpm包可能导致Sqoop无法启动

2)安装jdk1.8

2)配置jdk变量环境

3)导入java环境变量

4)测试jdk的配置

2.3 yum源的安装配置

In HD01-05：

2.3.1 yum源配置

1)增加yum源

注：此出隐含条件是有系统默认的yum源并可在线更新

2)开启5.6版的源

开启5.6的源并修改如下：

注：修改enabled选项等于1表示开启，0表示关闭（其他源都配置为0）

2.3.2 安装基本的工具

In HD02-05：

1)安装配置工具

2)安装python

3)安装ntpd

2.3.3 Cloudera Manager端yum源配置

In HD01：

1)安装Cloudera Manager包

2)安装mysql

2.3.4 Cloudera Manager Agent端yum源配置

In HD01-05：

安装Cloudera Manager Agent包

2.4 配置前的准备配置

2.4.1权限检查(单用户模式适用,可选)

In HD01-05：

检查以下目录cloudera-scm用户具有完全的权限

检查当前目录权限：

显示如下：

检查子目录权限：

显示如下

同样，检查服务器或客户端目录权限

2.4.2 检查线程限制配置

In HD01-05：

修改配置如下：

2.4.3 指定运行单用户模式的用户名(单用户模式适用，不配置)

In HD01-05：

并取消以下行的注释

2.4.4 创建压缩包存放目录

2.4.5 配置无密码的sudo访问(非默认单用户模式适用,可选)

In HD01-05:

增加如下组：

确认包含如下行：

2.4.6 配置su的limit

In HD01-05：

加入如下配置：

2.4.7 NTP的配置

In HD01-5:

1)确认包含如下配置：

应该包含如下配置：

2)启动并配置ntpd服务自动启动

3)触发时间同步

2.4.8 安装MySQL JDBC Driver

In HD01-05:

2.4.9 配置公钥认证

In HD01:

1)生成秘钥

ssh-keygen -t rsa

注：以上一路回车

2)复制公钥到各个被登录的服务器

3)测试免密码登录

注：以上如果无需密码登记即成功