把书读薄(kafka权威指南 第三章)
kafka发送生产消息的大致流程是什么?
1. 创建生产者对象,生产者发送包装消息的ProducerRecord2. 生产者通过send方法发送消息
3. 消息被序列化
4. 消息计算出分区
5. 根据分区消息被分配到指定主题和分区的批次中
6. 批量发送到broker
7. broker判断是否消息失败,成功则直接返回元数据【可选】,失败判断是否重试,对应做相应处理
如何创建生产者对象?
必须指定3个属性:broker地址,key的序列化方式,value的序列化方式。其它可选参数,包括重试次数,内存缓冲大小,每次发送消息的批次大小,是否压缩等等如何发送消息?
1. 同步方式:构建消息的封装ProducerRecord,通过生产者的send方法发送即可,可以用Future的方式接收返回的RecordMetadata2. 异步方式:同步发消息如果服务器之间通信的时间是10ms,那么1s只能发100个消息,因此不等待的方式(异步)可以节省时间,增加吞吐
3. 发送并忘记:只管发送,不处理任何返回值