在这里说的都是踩过的一些坑,和一些操作步骤,如果需要可以认真的去阅读一下。本文不代表任何立场,仅仅是简单的记录下自己遇到的坑,给自己的经历做一个点点滴滴的记录。如有任何侵权或者其他问题,请立刻联系我进行雪藏,甚至删除,谢谢大家的合作。
邮箱:[email protected]
需要准备的材料,注意事项
- 官方提供的iso镜像文件,内含所有数据,包括项目数据等。
- 根据内含数据和项目,选择合适的软件,推荐使用官方说明文档内规定的软件,也可以自选,避免系统的不兼容性(比如在虚拟机方面,windows10 对VirtualBox 4.X直接不兼容,需要安装VirtualBox 5.X版本),还请注意下软件的兼容性问题。
- 网络的问题,推荐使用路由器做局域网,而且这个路由器不要进行大批量下载任务(如迅雷下载、百度网盘等下载工具),这是为了避免网络堵塞可能导致的连接超时,设置路由器局域网内ip可以互相访问(路由器默认是可以访问的),建议在路由器配置好后进行ping操作,保证网络一定是通畅的,毕竟磨刀不误砍柴工。
- 笔记本或者单台PC可能会因为性能,造成程序运行缓慢,甚至连接超时或假死。建议使用多台PC进行任务处理,在内网(局域网)对各台PC进行连接,一定要了解各台服务器服务通讯方式、协议、端口号,准确判断服务连接错误的原因,准确定位。
- Hadoop环境配置,严格按照操作手册进行,不能遗漏任何步骤,尤其是第一遍配置,按部就班的重复。再熟悉了流程之后,再去了解每一步做了什么,什么用。
- 微信小程序……未完待续
各项的实际操作步骤
在写这篇文章的时候,基本工作都已经完成,就不再此提供每一步骤的操作截图。还请各位认真去看文章,慢慢去了解每一个步骤。有不懂的我还是推荐搭建去百度搜索自己想要的答案,高效的利用搜索引擎,也是提高工作效率的一种方式。
一、大数据环境搭建与操作
开发环境
- 开发语言:Java和JavaEE框架。
- HBase数据库镜像和HbaseExplorer工具。
- MongoDB数据库
- Eclipse开发工具Robo 3T工具
- MySQL数据库
软件版本对应
软件会提供,在无法运行时可使用其他版本,仅是在自行训练时,正式环境下都是预先配置好的,无需自行配置安装。
序号 | 软件名称 | 版本 | 版本对应 | 系统版本 | 下载地址 |
---|---|---|---|---|---|
1 | JDK | 1.7 & 1.8 | 无要求 | Windows7以上 | 下载 |
2 | Eclipse | J2EE & Committers | 尽量不要使用太高版本 | Windows7以上 | 下载 |
3 | Tomcat | 7.0版本及以上 | 无要求 | Windows7以上 | 下载 |
4 | Mysql Server | 5.5及以上版本 | 无要求 | Windows7以上 | 下载 |
5 | Navicat | 无要求 | 无要求 | Windows7以上 | 暂不提供 |
6 | MongoDB | 3.4 | 无要求 | Windows7以上 | 下载 |
7 | Hbase镜像 | 自带 | 自带 | VirtualBox虚拟机 | 无地址 |
环境搭建 - 操作步骤
-
检查jdk环境变量(不再演示jdk环境变量配置),win+R运行cmd,在命令行黑窗中输入java、javac、java -version三个命令。
1.1输入java命令,显示如图信息即为正常
1.2输入javac命令,显示如图信息即为正常
1.3输入javac -version命令,显示如图信息即为正常
-
配置Hadoop环境变量
2.1准备所需要的程序,框出的部分就是需要配置环境变量的内容
- 将bin目录的内容Copy到hadoop的bin目录下。
- 在系统环境变量中添加HADOOP_HOME变量,值为Hadoop根目录。
- 在系统环境变量Path中添加,%HADOOP_HOME%\bin\winutils.exe
- Copy后的bin目录
- Eclipse配置,因为需要使用到Hadoop,所以需要先配置一下。因为Eclipse是解压程序,直接解压就可以使用。
3.1解压Eclipse,查看目录结构
3.2将程序提供的Hadoop的插件,Copy到plugins目录下,重启Eclipse即可,查看插件是否安装成功。
3.3导入项目,不在赘述,应该会的(网上教程也是一大堆),识项目大小,打开速度可能差别较大。 - 导入项目可能会出现的错误。
4.1jdk环境问题,配置好jdk的环境即可(项目上红色感叹号)。右键项目—>Build Path —> Configure Build Path
4.2静态文件报错,可直接忽略(项目有红叉,往下找看到是静态文件 html、js、json、css等前端内容 报错,直接忽略)。
4.3当Console(控制台)打印各种连接失败,超时,卡在一个地方不动的时候。根据错误定位:,;Hadoop各项服务是否正确启动;。
- 网络错误,IP是否联通,hosts文件是否设置成功并生效。检查防火墙是否开放需要的端口,或者直接关闭你的防火墙。
- 检查Mysql数据库文件是否导入,连接是否正确,主要检查用户名和密码。
- Hadoop各项服务是否正确启动,使用命令jps查看启动情况。
- MongoDB启动是否正确,包括ip,端口号是否正确。
- 以上服务基本都是通过网络进行连接,务必检查好ip和端口号的可用状态,本地服务一般不会出现问题,需要特别注意远程服务的连接状态。
4.4示范一下当MongoDB为七点会出现什么错误。
tomcat启动超时。
- 错误信息。
2018-10-29 16:32:08,634 INFO [cluster-ClusterId{value='5bd6c587710da713d41e0438', description='null'}-127.0.0.1:27017] driver.cluster (SLF4JLogger.java:info(76)) - Exception in monitor thread while connecting to server 127.0.0.1:27017
com.mongodb.MongoSocketOpenException: Exception opening socket
at com.mongodb.connection.SocketStream.open(SocketStream.java:63)
at com.mongodb.connection.InternalStreamConnection.open(InternalStreamConnection.java:114)
at com.mongodb.connection.DefaultServerMonitor$ServerMonitorRunnable.run(DefaultServerMonitor.java:128)
at java.lang.Thread.run(Thread.java:745)
Caused by: java.net.ConnectException: Connection refused: connect
at java.net.DualStackPlainSocketImpl.waitForConnect(Native Method)
at java.net.DualStackPlainSocketImpl.socketConnect(DualStackPlainSocketImpl.java:85)
at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:339)
at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:200)
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:182)
at java.net.PlainSocketImpl.connect(PlainSocketImpl.java:172)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
at java.net.Socket.connect(Socket.java:579)
at com.mongodb.connection.SocketStreamHelper.initialize(SocketStreamHelper.java:50)
at com.mongodb.connection.SocketStream.open(SocketStream.java:58)
... 3 more
- 错误信息,未完待续,遇到错误去看错误信息的Caused by,学会百度。
- 在大数据方面,eclipse里面,你需要做的事情
5.1完善创建Hbase数据表的Java代码,使用Hbase提供的Java接口对数据库进行操作可以使用HTableDescriptor对象创建数据表
传送门 —> HBase客户端API-表操作