一、消息队列
消息(Message):是指在应用之间传送的数据,消息可以非常简单,比如只包含文本字符串,也可以更复杂,可能包含嵌入对象。
消息队列(Message Queue):是一种应用间的通信方式,消息发送后可以立即返回,有消息系统来确保信息的可靠专递,消息发布者只管把消息发布到MQ中而不管谁来取,消息使用者只管从MQ中取消息而不管谁发布的,这样发布者和使用者都不用知道对方的存在。
二、Kafka消息队列
Apache Kafka是一个分布式消息发布订阅系统。它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log),,之后成为Apache项目的一部分。Kafka系统快速、可扩展并且可持久化。它的分区特性,可复制和可容错都是其不错的特性。
三、消息队列的应用场景
应用耦合: 多应用间通过消息队列对同一消息进行处理,避免调用接口失败导致整个过程失败。
异步处理:多应用对消息队列中同一消息进行处理,应用间并发处理消息,相比串行处理,减少处理时间。
限流削锋:广泛应用于秒杀或抢购活动中,避免流量过大导致应用系统挂掉的情况。
消息驱动的系统:系统分为消息队列、消息生产者、消息消费者,生产者负责产生消息,消费者(可能有多个)负责对消息进行处理;
四、消息队列两种模式
发送者(生产者):生产数据的一方/将数据推送到队列中的一方
接收者(消费者):在队列中读取了数据的以一方
kafka的基本介绍
Kafka是一个分布式的,分区的,多副本的,多订阅者的消息发布订阅系统。
支持Topic进行归类
数据发送者(生产者)Producer
数据接收者(消费者)Consumer
Kafka节点(存数据)broker
kafka 消息保留在磁盘上,并在集群内复制一方数据丢失
支持数据持久化,消费端为啦模式来主动拉取数据。
Consumer Group:每一个Consumer属于一个特定的Consumer Group(可以为每个Consumer指定 groupName)
Broker:kafka集群中包含一个或者多个服务实例
Topic:每条发布到kafka集群的消息都必须有一个类别(topic)
Partition:Partition是一个物理上的概念,每个Topic包含一个或者多个Partition
segment:一个partition当中存在多个segment文件段,每个segment分为两部分,.log文件和.index文件。
其中.index文件是索引文件,主要用于快速查询.log文件当中数据的偏移量位置
. log:存放数据文件