1、
【Flume】flume输出sink到hbase的实现
2、
血的教训!测试flume一定要先看第一行错误!它是以栈的方式输出报错信息的···
3、
sqoop2不支持命令行,sqoop1的lib下缺sqoop1.4.x的jar包
4、
--null-string '\\N' --null-non-string '\\N' sqoop导入导出空值的处理
没关系
管理节点说法不对
分布式系统有很多问题 其中有两个
1. Coordination
2. Resource Management
Zookeeper偏重解决的是前者
Yarn偏重解决的是后者
管理节点说法不对
分布式系统有很多问题 其中有两个
1. Coordination
2. Resource Management
Zookeeper偏重解决的是前者
Yarn偏重解决的是后者
YARN相当于政府,负责管理机器资源的分配,有困难找政府,政府安排人力物力来解决你的问题。这个才是你说的管理节点。
Zookeeper相当于立法委员会,目标是提供权威的信息给这个国家所有的人。Zookeeper关注的主要是信息的一致性,管理一些需要在所有人心中保持一致的信息。它虽然常常用来管理哪个节点活着,哪个节点死了这种信息,或是哪个节点该负责什么事儿,但是它还是主要负责管理信息(档案,法律)的部门,不是民生部门……
Zookeeper相当于立法委员会,目标是提供权威的信息给这个国家所有的人。Zookeeper关注的主要是信息的一致性,管理一些需要在所有人心中保持一致的信息。它虽然常常用来管理哪个节点活着,哪个节点死了这种信息,或是哪个节点该负责什么事儿,但是它还是主要负责管理信息(档案,法律)的部门,不是民生部门……
6、
namenode secondlynamenode不能切换一个宕掉,另一个standby是因为ssh配置路径写了相对路径
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/grid/.ssh/id_rsa</value>
</property>
但是没有改slave的这个路径,之后上传数据的时候
查看数据什么的都没有问题
7.
kafka是消费者,直接取走了数据,导致spark steaming读不到