Debezium系列之:记录一次Debezium集群迁移注意事项
一、准备好新的Debezium集群
- zookeeper集群
- kafka集群
- debezium集群
二、保存旧的Debezium集群connector配置
- 需要保存所有旧的Debezium集群connector配置
- 需要支持一次性创建Debezium connector或者快速滚动创建Debezium connector
三、创建kafka topic
- 迁移kafka topic数据和元信息
如果不需要迁移kafka topic数据和元信息:
- 建议通过程序创建所有connector接入表对应的kafka topic,这样能够减轻kafka connect的压力
- 如果需要从之前binlog位置消费,则手动写入每个connector消费到的binlog位置
四、创建Debezium connector
- 建议不要一次性创建所有Debezium connector,采用滚动创建Debezium connector
- 每创建一个connector要有间歇时间
四、查看Debezium集群connector状态
- 检查每个connector状态,确保状态成功