组件中间件常用命令

编程语言 2018-12-18 14:26:49 阅读次数: 0

组件中间件常用命令

hbase:

hbase shell
whoami
list
describe "tablek"
create 'tablefipaas', 'f1', 'f2', 'f3'
create 'tablek', 'f1', 'f2', 'f3'
hadoop fs -ls /hbase
hadoop fs -du -h /hbase/
可以看到所有表的信息. 在hdfs中的建立的目录. 一个表对应一个目录.
hadoop fs -du /hbase/data/default/tablek
hdfs dfs -du -h /hbase/data/default/表名
https://blog.csdn.net/gingerredjade/article/details/63719429
https://www.cnblogs.com/nexiyi/p/hbase_on_hdfs_directory.html

查看所有表级别权限： scan 'hbase:acl'  
查看某张表的权限： user_permission 't1'

grant 'test','RW','t1'
revoke 'test','t1'
namespace_create 'hbase_perf'  
grant 'mike', 'W', '@hbase_perf' 

list_namespace  
create 'ai_ns:testtable', 'fm1'
list_namespace_tables 'ai_ns' 

create 't1',{NAME => 'f1', VERSIONS => 2},{NAME => 'f2', VERSIONS => 2}
put 't1','rowkey001','f1:col1','value01'
get 't1','rowkey001', 'f1:col1'
get 't1','rowkey001'
scan 't1'
count 't1'
https://www.cnblogs.com/nexiyi/p/hbase_shell.html

hive

hive:   数据文件映射为一张数据库表， sql 语句转换为 MapReduce 任务
beeline -e "show tables"
beeline -e "create table trade_detail(id bigint, account string, income double, expenses double, time string) row format delimited fields terminated by '\t';"
beeline -e "select count(*) from trade_detail;"
beeline -e "desc trade_detail;"
hadoop fs -ls  /user/hive/warehouse/trade_detail|awk -F ' ' '{print $5}'|awk '{a+=$1}END{print a}'
hadoop fs -du  /user/hive/warehouse/
hdfs dfs -du /user/hive/warehouse/[表名]
use default;
showdatabases;

beeline
show databases;
use default;
show tables;
查看table在hdfs上的存储路径： show create table chentianyoutb1;
查看table的表结构： desc tablesname;
普通表： create table trade_detail(id bigint, account string, income double, expenses double, time string) row format delimited fields terminated by '\t';
分区表： create table hqwlogs(ts bigint,line string) partitioned by (dt String,country String);
select count(*) from trade_detail;   mr的过程

http://blog.sina.com.cn/s/blog_5ceb51480102w2pq.html
https://blog.csdn.net/jiangshouzhuang/article/details/52228449
https://www.cnblogs.com/claireyuancy/p/6811390.html
https://blog.csdn.net/lifuxiangcaohui/article/details/40261345  基本的操作
https://blog.csdn.net/jiedushi/article/details/6778521  分区相关操作

Solr

solrctl collection --list
klist
solrctl collection --create test3 -c confwithSchema -s l -r list
solrctl
solrctl cluster --list-node
solrctl cluster --get-coll-state test3
hdfs dfs -ls /solr/collections
hdfs dfs -ls /solr/collections/test1
https://blog.csdn.net/frankcheng5143/article/details/71159936

kafka

https://www.cnblogs.com/xiaodf/p/6093261.html#2
kafka-topics.sh --list --zookeeper 10.75.194.208:24002,	10.75.195.32:24002,10.75.195.51:24002/kafka | grep intopic
kafka-topics.sh --zookeeper 10.75.194.208:24002,10.75.195.32:24002,10.75.195.51:24002/kafka --topic intopic --describe
kafka-consumer-groups.sh  --zookeeper 10.75.194.208:24002,10.75.195.32:24002,10.75.195.51:24002/kafka --list

kafka-console-consumer.sh  --zookeeper 172.125.19.19:24002,172.125.19.17:24002,172.125.19.14:24002/kafka  --topic  MotorVehiclesTest_B_99  --from-beginning
kafka-topics.sh --list --zookeeper 172.125.19.19:24002,172.125.19.17:24002,172.125.19.14:24002/kafka | grep Subscri
kafka-topics.sh --zookeeper 172.125.19.19:24002,172.125.19.17:24002,172.125.19.14:24002/kafka --describe --topic SubscribeNotificationTopic
kafka-console-producer.sh --broker-list="172.125.19.20:21005" --topic MotorVehiclesTest_B_99
kafka-console-consumer.sh  --zookeeper 172.125.19.19:24002,172.125.19.17:24002,172.125.19.14:24002/kafka  --topic SubscribeNotificationTopic-B1  --from-beginning

kafka-consumer-groups.sh --list --zookeeper 172.125.107.12:24002,172.125.107.10:24002,172.125.107.11:24002/kafka
kafka-console-consumer.sh  --zookeeper 172.125.107.12:24002,172.125.107.10:24002,172.125.107.11:24002/kafka  --topic SubscribeNotificationTopic-B1  --from-beginning
kafka-console-consumer.sh --topic SubscribeNotificationTopic-B1 --bootstrap-server 172.125.107.12:21005 --new-consumer --consumer.config config/consumer.properties

查看Offset保存在Zookeeper上的Consumer Group列表
kafka-consumer-groups.sh --list --zookeeper 172.125.19.19:24002,172.125.19.17:24002,172.125.19.14:24002/kafka
kafka-consumer-groups.sh --list --zookeeper 172.125.107.12:24002,172.125.107.10:24002,172.125.107.11:24002/kafka
查看Offset保存在Kafka上的Consumer Group列表
./kafka-consumer-groups.sh --list --bootstrap-server 172.125.19.20:21007,172.125.19.16:21007,172.125.19.26:21007 --new-consumer --command-config config/consumer.properties
./kafka-consumer-groups.sh --list --bootstrap-server 172.125.107.12:21007,172.125.107.10:21007,172.125.107.11:21007 --new-consumer --command-config config/consumer.properties

kafka-consumer-groups.sh --describe --zookeeper 172.125.19.19:24002,172.125.19.17:24002,172.125.19.14:24002/kafka --group example-group1
kafka-consumer-groups.sh --describe --zookeeper 172.125.107.12:24002,172.125.107.10:24002,172.125.107.11:24002/kafka --group example-group1

redis

redis-cli -c -h 172.125.19.11 -p 22400 --realm HADOOP.COM
set keytest asdf
get keytest
keys VIID*
lrange VIID:SUB100.129.34.32: 0 -1

zookeeper

zkServer.sh start/stop/restart/status
zkCli.sh -server 172.125.19.19:24002
ls /

一、Zookeeper的数据模型
1、层次化的目录结构，命名符合常规文件系统规范
2、每个节点在zookeeper中叫做znode,并且其有一个唯一的路径标识
3、节点Znode可以包含数据和子节点，但是EPHEMERAL类型的节点不能有子节点
4、Znode中的数据可以有多个版本，比如某一个路径下存有多个数据版本，那么查询这个路径下的数据就需要带上版本
5、客户端应用可以在节点上设置监视器
6、节点不支持部分读写，而是一次性完整读写

二、Zookeeper的节点
1、Znode有两种类型，短暂的（ephemeral）和持久的（persistent）
2、Znode的类型在创建时确定并且之后不能再修改
3、短暂znode的客户端会话结束时，zookeeper会将该短暂znode删除，短暂znode不可以有子节点
4、持久znode不依赖于客户端会话，只有当客户端明确要删除该持久znode时才会被删除
5、Znode有四种形式的目录节点，PERSISTENT、PERSISTENT_SEQUENTIAL、EPHEMERAL、EPHEMERAL_SEQUENTIAL

三、Zookeeper的角色
1、领导者（leader），负责进行投票的发起和决议，更新系统状态
2、学习者（learner），包括跟随者（follower）和观察者（observer），follower用于接受客户端请求并想客户端返回结果，在选主过程中参与投票
3、Observer可以接受客户端连接，将写请求转发给leader，但observer不参加投票过程，只同步leader的状态，observer的目的是为了扩展系统，提高读取速度
4、客户端（client），请求发起方

docker&k8s

alias kubectl="/var/paas/kubernetes/kubectl --client-certificate=/var/paas/srv/kubernetes/server.cer --client-key=/var/paas/srv/kubernetes/server_key.pem --certificate-authority=/var/paas/srv/kubernetes/ca.crt"

kc get pod --all-namespaces
kc get pod --all-namespaces |grep hds
kc exec -it c-hds-ykz5d-4251534362-7whsq sh -n 1eac099c9a69460dad60093ff5342e4c bash
kc exec -it  psm-1537476436-kxdjw -n manage
kubectl exec -it  psm-1537476436-kxdjw sh -n manage
kubectl logs -f  psm-1537476436-kxdjw -n manage

kc logs -f c-hds-ykz5d-4251534362-7whsq
kc logs -f b-hds-y6vv5-3193560957-h4d6f

kc edit svc c-hadoop-0330-kqay3  -n cse-system
kc get svc c-hadoop-0330-kqay3  -n cse-system
kc describe pod -n paaup uapcommon-component-bd80-3513533165-8pc2j
kc delete pod c-dg-zgbqwyvnz-j5zxu-1130811408-xvhl6 -n cse-system

Kubernetes组件组成： 
1. kubectl 
客户端命令行工具，将接受的命令格式化后发送给kube-apiserver，作为整个系统的操作入口。 
2. kube-apiserver 
作为整个系统的控制入口，以REST API服务提供接口。 
3. kube-controller-manager 
用来执行整个系统中的后台任务，包括节点状态状况、Pod个数、Pods和Service的关联等。 
4. kube-scheduler 
负责节点资源管理，接受来自kube-apiserver创建Pods任务，并分配到某个节点。 
5. etcd 
负责节点间的服务发现和配置共享。 
6. kube-proxy 
运行在每个计算节点上，负责Pod网络代理。定时从etcd获取到service信息来做相应的策略。 
7. kubelet 
运行在每个计算节点上，作为agent，接受分配该节点的Pods任务及管理容器，周期性获取容器状态，反馈给kube-apiserver。 
8. DNS 
一个可选的DNS服务，用于为每个Service对象创建DNS记录，这样所有的Pod就可以通过DNS访问服务了。

hdfs

hadoop dfsadmin –report
hadoop fs -ls /   >>  hadoop fs -con

猜你喜欢

转载自blog.csdn.net/hqw11/article/details/85062982
今日推荐
周排行
Leetcode简单题61~80
解决zookeeper磁盘IO高的问题
多线程相关方法详解
Maven-setting.xml文件详解
Maven 项目的 classpath 理解
渊亭科技大数据笔试题
配置JVM内存分配
计算机网络个人学习笔记 （三）网络层 ：第三部分 连载
js中两个等号(==)和三个等号(===)的区别
用C程序自动打开电脑上的程序
每日归档
更多
2024-09-18(0)
2024-09-17(0)
2024-09-16(0)
2024-09-15(0)
2024-09-14(0)
2024-09-13(0)
2024-09-12(0)
2024-09-11(0)
2024-09-10(0)
2024-09-09(0)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022