一、jdk安装
太简单,略过
export JAVA_HOME=/usr/java/jdk1.8.0_221
export PATH=$PATH:$JAVA_HOME/bin
刷新 source /etc/profile
检查 java -version
二、zk安装
太简单,略过,环境变量配置如下
export PATH=$JAVA_HOME/bin:$PATH
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin
刷新 source /etc/profile
启动 zkServer.sh start
查看状态 zkServer.sh status
停止 zkServer.sh stop
三、hadoop安装
下载解压部分略过,环境变量配置如下:
export HADOOP_HOME=/usr/java/hadoop-2.8.5
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
-
在修改配置文件前,先创建一下几个目录
mkdir /root/hadoop mkdir /root/hadoop/tmp mkdir /root/hadoop/var mkdir /root/hadoop/dfs mkdir /root/hadoop/dfs/name mkdir /root/hadoop/dfs/data
-
修改hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_221
-
修改core-site.xml(注意修改ip)
<configuration> <property> <name>hadoop.tmp.dir</name> <value>/root/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.default.name</name> <value>hdfs://192.168.10.45:9000</value> </property> </configuration>
-
修改hdfs-site.xml(注意修改ip)
<configuration> <property> <name>dfs.name.dir</name> <value>/root/hadoop/dfs/name</value> <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description> </property> <property> <name>dfs.data.dir</name> <value>/root/hadoop/dfs/data</value> <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description> </property> <property> <name>dfs.http.address</name> <value>192.168.10.45:50070</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>192.168.10.45:50090</value> </property> <property> <name>dfs.permissions</name> <value>true</value> <description>need not permissions</description> </property> </configuration>
-
修改mapred-site.xml(注意修改ip)
<configuration> <property> <name>mapred.job.tracker</name> <value>192.168.10.45:9001</value> </property> <property> <name>mapred.local.dir</name> <value>/root/hadoop/var</value> </property> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
-
格式化
第一次启动时要初始化,格式化的NameNode :hdfs namenode -format
-
启动
start-all.sh
-
遇到的问题及解决
暂无,后续补充
四、hbase安装
下载解压部分略过,环境变量配置如下:
export HBASE_HOME=/usr/java/hbase-2.1.7
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin::$HBASE_HOME/bin
-
配置hbase-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_221
Java安装路径
export HBASE_CLASSPATH=/usr/java/hbase-2.1.7/conf
HBase类路径
export HBASE_MANAGES_ZK=false
由HBase负责启动关闭zk -
配置hbase-site.xml
<property> <name>hbase.root.dir</name> <value>hdfs://node1:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>node1</value> </property>
-
配置hostname
vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=node1
-
配置host映射
vi /etc/hosts 192.168.10.45 node1
-
启动 :
start-hbase.sh
-
遇到的问题及解决方案:
a)启动hbase报java.lang.ClassNotFoundException: org.apache.htrace.SamplerBuilder
解决:cp $HBASE_HOME/lib/client-facing-thirdparty/htrace-core-3.1.0-incubating.jar $HBASE_HOME/lib/
五、mysql安装
-
检查是否已经安装过mysql,执行命令
rpm -qa | grep mysql
-
查询所有Mysql对应的文件夹并删除相关目录或文件
whereis mysql find / -name mysql
-
检查mysql用户组和用户是否存在,如果没有,则创建
[root@localhost /]# cat /etc/group | grep mysql [root@localhost /]# cat /etc/passwd |grep mysql [root@localhost /]# groupadd mysql [root@localhost /]# useradd -r -g mysql mysql
-
下载解压mysql
-
创建数据目录
mkdir /usr/java/mysql/data
-
更改mysql目录下所有的目录及文件夹所属的用户组和用户,以及权限
chown -R mysql:mysql /usr/local/mysql chmod -R 755 /usr/local/mysql
-
编译安装并初始化mysql,务必记住初始化输出日志末尾的密码(数据库管理员临时密码)
./mysqld --initialize --user=mysql --datadir=/usr/java/mysql/data --basedir=/usr/java/mysql
这步可能出错:解决办法: rpm -qa|grep libaio yum install libaio-devel.x86_64 yum -y install numactl
-
编辑配置文件my.cnf,添加配置如下
[mysqld] datadir=/usr/java/mysql/data port = 3306 sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES symbolic-links=0 max_connections=400 innodb_file_per_table=1 #表名大小写不明感,敏感为 lower_case_table_names=1
-
启动mysql服务器
/usr/java/mysql/support-files/mysql.server start
-
添加软连接,并重启mysql服务
ln -s /usr/java/mysql/support-files/mysql.server /etc/init.d/mysql ln -s /usr/java/mysql/bin/mysql /usr/bin/mysql
-
登录mysql,修改密码(密码为步骤7生成的临时密码)
mysql -u root -p set password for root@localhost = password('root');(密码是root)
-
开放远程连接
mysql>use mysql; msyql>update user set user.Host='%' where user.User='root'; mysql>flush privileges;
-
设置开机自动启动
1、将服务文件拷贝到init.d下,并重命名为mysqlcp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld
2、赋予可执行权限
chmod +x /etc/init.d/mysqld
3、添加服务
chkconfig --add mysqld
4、显示服务列表
chkconfig --list
六、hive安装
下载解压部分略过,环境变量配置如下:
export HIVE_HOME=/usr/java/hive
export HIVE_CONF_DIR=$HIVE_HOME/conf
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin::$HBASE_HOME/bin::$HIVE_HOME/bin
-
配置hive-site.xml
<?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hivedb</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value> </property> <property> <name>hive.metastore.schema.verification</name> <value>false</value> </property> </configuration>
-
执行
schematool -dbType mysql -initSchema
-
mysql中创建hive的元数据库,库名和上述配置一致 :hivedb
注:以上为大数据其中几个组件的单机版安装配置,都是本人亲自试验通过的。至于集群版会在其他博客中单独一个组件一个组件的讲。待续…