工作随笔

本章内容仅为记录博主工作中新接触的命令、遇到的故障等内容。

一、kafka

1.1 基础命令

#进入到fafka容器之后，通过kafka对应命令，去查看所有的topic和消费topic

#查看所有的topic
./kafka-topics.sh --bootstrap-server kafka的IP地址:端口号 --list

#删除对应的topic
./kafka-topics.sh --delete --topic 对应的topic --bootstrap-server kafka的IP地址:端口号

#对topic进行消费
./kafka-console-consumer.sh --bootstrap-server kafka的IP地址:端口号 --topic topic名称（索引名） --from-beginning --property print.key=true --max-messages 10
--from-beginning 代表从头消费
--property print.key=true 代表把主键消费出来
--max-messages 代表消费几条

#查看所有的消费者组
./kafka-consumer-group --bootstrap-server kafka的IP地址:端口号 --list 

#查看对应消费者组详细信息
./kafka-consumer-group --bootstrap-server kafka的IP地址:端口号 --group 组名称（索引名） --describe

二、es

1.1 基础命令

#查看es中存储的所有索引
curl 'es账号:es密码@es的IP地址:端口号/_cat/indices?v'

#查看es中存储的指定索引（第一条搜索功能更强大一些）
curl 'es账号:es密码@es的IP地址:端口号/_cat/indices/索引名（可匹配正则表达式）?pretty'
curl 'es账号:es密码@es的IP地址:端口号/_cat/indices?v' | grep 索引名

#查看es指定索引中的指定键下的值（相当于mysql中的select后加where进行筛选）
curl 'es账号:es密码@es的IP地址:端口号/索引名/_search?pretty&q=搜索条件 '
#举例（其中ID是es索引中的主键之一，size意思是控制搜索出数据的大小，导出到一个文件中可以查看）
curl 'es账号:es密码@es的IP地址:端口号/索引名/_search?pretty&q=ID:12345678&size=100' > test.txt

三、实用小脚本

3.1 判断文件中是否有某个对应的值

• 前提条件：为了判断某个目录下，所有文件中，是否含有某个值（一般为看日志有没有报错、找数据库中对应的字段）

 #!/bin/bash
 lu=/opt/test/
 for i in `ls $lu`
 do
   zhi=`tail -20 $lu$i |grep "a"`
   #-z：值为空则条件为真；-n：值为空则判断为假
   if [ -z "$zhi" ]
   then
     echo "$i 没有a这个值"
   else
     echo "$i 有有有有有"
   fi
 done

3.2 awk筛选最后一列

awk '{print $NF}'