工作随笔
本章内容仅为记录博主工作中新接触的命令、遇到的故障等内容。
一、kafka
1.1 基础命令
#进入到fafka容器之后,通过kafka对应命令,去查看所有的topic和消费topic
#查看所有的topic
./kafka-topics.sh --bootstrap-server kafka的IP地址:端口号 --list
#删除对应的topic
./kafka-topics.sh --delete --topic 对应的topic --bootstrap-server kafka的IP地址:端口号
#对topic进行消费
./kafka-console-consumer.sh --bootstrap-server kafka的IP地址:端口号 --topic topic名称(索引名) --from-beginning --property print.key=true --max-messages 10
--from-beginning 代表从头消费
--property print.key=true 代表把主键消费出来
--max-messages 代表消费几条
#查看所有的消费者组
./kafka-consumer-group --bootstrap-server kafka的IP地址:端口号 --list
#查看对应消费者组详细信息
./kafka-consumer-group --bootstrap-server kafka的IP地址:端口号 --group 组名称(索引名) --describe
二、es
1.1 基础命令
#查看es中存储的所有索引
curl 'es账号:es密码@es的IP地址:端口号/_cat/indices?v'
#查看es中存储的指定索引(第一条搜索功能更强大一些)
curl 'es账号:es密码@es的IP地址:端口号/_cat/indices/索引名(可匹配正则表达式)?pretty'
curl 'es账号:es密码@es的IP地址:端口号/_cat/indices?v' | grep 索引名
#查看es指定索引中的指定键下的值(相当于mysql中的select后加where进行筛选)
curl 'es账号:es密码@es的IP地址:端口号/索引名/_search?pretty&q=搜索条件 '
#举例(其中ID是es索引中的主键之一,size意思是控制搜索出数据的大小,导出到一个文件中可以查看)
curl 'es账号:es密码@es的IP地址:端口号/索引名/_search?pretty&q=ID:12345678&size=100' > test.txt
三、实用小脚本
3.1 判断文件中是否有某个对应的值
- 前提条件:为了判断某个目录下,所有文件中,是否含有某个值(一般为看日志有没有报错、找数据库中对应的字段)
#!/bin/bash
lu=/opt/test/
for i in `ls $lu`
do
zhi=`tail -20 $lu$i |grep "a"`
#-z:值为空则条件为真;-n:值为空则判断为假
if [ -z "$zhi" ]
then
echo "$i 没有a这个值"
else
echo "$i 有有有有有"
fi
done
3.2 awk筛选最后一列
awk '{print $NF}'