近期kafka存储报警,磁盘容量已达到86%
最直接的方式是加磁盘扩容
但是没有预算。。。。。
最后为了保证线上不出问题,动态修改kafka的日志的存储时长,默认是保存7天
动态修改为3天
1、先查看所有的topic
kafka-topics.sh --list --zookeeper node1:2181
zookeeper的端口号和名称自行修改,端口号写错会报错
[2018-08-30 11:09:09,297] WARN Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect (org.apache.zookeeper.ClientCnxn)
java.net.ConnectException: Connection refused
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:361)
at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1141)
2、修改对应的topic的保存时长3天
kafka-topics.sh --zookeeper node1:2181 -topic xxxx --alter --config retention.ms=259200000
retention.ms这个参数是毫秒数,需要转一下
然后查看磁盘降下来了。
文章来自:https://blog.csdn.net/qq_30498935
谢谢大家观看,大家可以点赞和留言,我看到留言会第一时间回复!!