一、前言
二、搜索与商品服务遇到的问题
目前我们已经完成了商品详情和搜索系统的开发。我们思考一下,是否存在问题?
问题1(数据库与ES索引库的数据一致性): 商品的原始数据保存在数据库中,增删改查都在数据库中完成。搜索服务数据来源是索引库,如果数据库商品发生变化,索引库数据不能及时更新。
问题2(数据库与Nginx静态页面的数据一致性):商品详情做了页面静态化,静态页面数据也不会随着数据库商品发生变化。
如果我们在后台修改了商品的价格,ES搜索页面和Nginx商品详情页显示的依然是旧的价格,这样显然不对。
两种解决方案:
方案1(service层,马上修改,写数据操作的时候修改):每当后台对商品数据做增删改操作,数据库中数据写操作时,同时要修改索引库数据及静态页面
方案2(controller层,马上修改,写数据操作的时候修改):ES搜索服务和Nginx商品详情页服务对外提供操作接口,后台在商品增删改后,调用两个接口
小结,两种都是一样的,还有一种 延迟修改,再次读数据操作的时候修改
以上两种方式都有同一个严重问题:就是代码耦合,商品服务中需要嵌入搜索和商品页面服务,违背了微服务的独立原则。
所以,我们会通过另外一种方式来解决这个问题:消息队列
消息队列:异步、解耦(相对同一个Java程序内多线程)、限流保护数据库
三、消息队列处理数据一致性
接下来,我们就改造项目,实现搜索服务、商品静态页的数据同步。
3.1.思路分析
发送方:商品微服务
什么时候发? 当商品服务对商品进行写操作:增、删、改的时候,需要发送一条消息,通知其它服务。
发送什么内容?对商品的增删改时其它服务可能需要新的商品数据,但是如果消息内容中包含全部商品信息,数据量太大,而且并不是每个服务都需要全部的信息。因此我们只发送商品id,其它服务可以根据id查询自己需要的信息。
接收方:搜索微服务、静态页微服务
接收消息后如何处理?
消费方1:搜索微服务:
增/改:添加新的数据到索引库
删:删除索引库数据
消费方2:静态页微服务:
增:创建新的静态页
删:删除原来的静态页
改:创建新的静态页并删除原来的
3.2.实践:生产者:商品服务发送消息
我们先在商品微服务leyou-item-service
中实现发送消息。
3.2.1.引入依赖
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-amqp</artifactId>
</dependency>
3.2.2.配置文件
我们在application.yml中添加一些有关RabbitMQ的配置:
spring:
rabbitmq:
host: 192.168.56.101
username: leyou
password: leyou
virtual-host: /leyou
template:
exchange: leyou.item.exchange
publisher-confirms: true
- template:有关
AmqpTemplate
的配置- retry:失败重试
- enabled:开启失败重试
- initial-interval:第一次重试的间隔时长
- max-interval:最长重试间隔,超过这个间隔将不再重试
- multiplier:下次重试间隔的倍数,此处是2即下次重试间隔是上次的2倍
- exchange:缺省的交换机名称,此处配置后,发送消息如果不指定交换机就会使用这个
- retry:失败重试
- publisher-confirms:生产者确认机制,确保消息会正确发送,如果发送失败会有错误回执,从而触发重试
3.2.3.改造商品微服务GoodsService
在GoodsService中封装一个发送消息到mq的方法:
private void sendMessage(Long id, String type){
// 发送消息
try {
this.amqpTemplate.convertAndSend("item." + type, id);
} catch (Exception e) {
logger.error("{}商品消息发送异常,商品id:{}", type, id, e);
}
}
这里没有指定交换机,因此默认发送到了配置中的:leyou.item.exchange
注意:这里要把所有异常都try起来,不能让消息的发送影响到正常的业务逻辑
对于商品微服务,新增的时候调用,新增记录最后,发送消息到消息队列rabbitmq:
对于商品微服务,修改的时候,修改记录最后,发送消息到消息队列rabbitmq
3.3.实践:消费者1:搜索服务接收消息
搜索服务接收到消息后要做的事情:
增:添加新的数据到索引库
删:删除索引库数据
改:修改索引库数据
因为索引库的新增和修改方法是合二为一的,因此我们可以将这两类消息一同处理,删除另外处理。
3.3.1.引入依赖
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-amqp</artifactId>
</dependency>
3.3.2.添加配置
spring:
rabbitmq:
host: 192.168.56.101
username: leyou
password: leyou
virtual-host: /leyou
这里只是接收消息而不发送,所以不用配置template相关内容。good
3.3.3.编写监听器
代码:
@Component
public class GoodsListener {
@Autowired
private SearchService searchService;
/**
* 处理insert和update的消息
*
* @param id
* @throws Exception
*/
@RabbitListener(bindings = @QueueBinding(
value = @Queue(value = "leyou.create.index.queue", durable = "true"),
exchange = @Exchange(
value = "leyou.item.exchange",
ignoreDeclarationExceptions = "true",
type = ExchangeTypes.TOPIC),
key = {
"item.insert", "item.update"}))
public void listenCreate(Long id) throws Exception {
if (id == null) {
return;
}
// 新增代码,监听到后,创建或更新ES索引库中的索引
this.searchService.createIndex(id);
}
/**
* 处理delete的消息
*
* @param id
*/
@RabbitListener(bindings = @QueueBinding(
value = @Queue(value = "leyou.delete.index.queue", durable = "true"),
exchange = @Exchange(
value = "leyou.item.exchange",
ignoreDeclarationExceptions = "true",
type = ExchangeTypes.TOPIC),
key = "item.delete"))
public void listenDelete(Long id) {
if (id == null) {
return;
}
// 新增代码,监听到后,删除ES索引库中的索引
this.searchService.deleteIndex(id);
}
}
3.3.4.编写创建和删除索引方法
这里因为要创建和删除索引,我们需要在SearchService中拓展两个方法,创建和删除索引:
public void createIndex(Long id) throws IOException {
Spu spu = this.goodsClient.querySpuById(id);
// 构建商品
Goods goods = this.buildGoods(spu);
// 保存数据到索引库
this.goodsRepository.save(goods);
}
public void deleteIndex(Long id) {
this.goodsRepository.deleteById(id);
}
创建索引的方法可以从之前导入数据的测试类中拷贝和改造。
3.4.实践:消费者2:静态页服务接收消息
商品静态页服务接收到消息后的处理:
增:创建新的静态页
删:删除原来的静态页
改:创建新的静态页并删除原来的
ps:我们编写的创建静态页的方法也具备覆盖以前页面的功能,因此:增和改的消息可以放在一个方法中处理,删除消息放在另一个方法处理。
3.4.1.引入依赖
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-amqp</artifactId>
</dependency>
3.4.2.添加配置
spring:
rabbitmq:
host: 192.168.56.101
username: leyou
password: leyou
virtual-host: /leyou
ps:和ES索引库一样,这里只是接收消息而不发送,所以不用配置template相关内容。
3.4.3.编写监听器
代码:
@Component
public class GoodsListener {
@Autowired
private GoodsHtmlService goodsHtmlService;
@RabbitListener(bindings = @QueueBinding(
value = @Queue(value = "leyou.create.web.queue", durable = "true"),
exchange = @Exchange(
value = "leyou.item.exchange",
ignoreDeclarationExceptions = "true",
type = ExchangeTypes.TOPIC),
key = {
"item.insert", "item.update"}))
public void listenCreate(Long id) throws Exception {
if (id == null) {
return;
}
// 创建页面
goodsHtmlService.createHtml(id);
}
@RabbitListener(bindings = @QueueBinding(
value = @Queue(value = "leyou.delete.web.queue", durable = "true"),
exchange = @Exchange(
value = "leyou.item.exchange",
ignoreDeclarationExceptions = "true",
type = ExchangeTypes.TOPIC),
key = "item.delete"))
public void listenDelete(Long id) {
if (id == null) {
return;
}
// 删除静态页面
goodsHtmlService.deleteHtml(id);
}
}
3.4.4.新增一个删除页面方法
public void deleteHtml(Long id) {
File file = new File("C:\\project\\nginx-1.14.0\\html\\item\\", id + ".html");
file.deleteOnExit();
}
3.5.测试(查看RabbitMQ控制台)
重新启动项目,并且登录RabbitMQ管理界面:http://192.168.56.101:15672
第一,看到交换机已经创建出来了:
第二,看到队列也已经创建完毕:
第三,看到队列都已经绑定到交换机:
第四,修改数据试一试,在商品微服务修改商品数据的价格,分别在搜索及商品详情页查看是否统一。
四、面试金手指
4.1 搜索与商品服务遇到的问题
目前我们已经完成了商品详情和搜索系统的开发。我们思考一下,是否存在问题?
问题1(数据库与ES索引库的数据一致性): 商品的原始数据保存在数据库中,增删改查都在数据库中完成。搜索服务数据来源是索引库,如果数据库商品发生变化,索引库数据不能及时更新。
问题2(数据库与Nginx静态页面的数据一致性):商品详情做了页面静态化,静态页面数据也不会随着数据库商品发生变化。
如果我们在后台修改了商品的价格,ES搜索页面和Nginx商品详情页显示的依然是旧的价格,这样显然不对。
两种解决方案:
方案1(service层,马上修改,写数据操作的时候修改):每当后台对商品数据做增删改操作,数据库中数据写操作时,同时要修改索引库数据及静态页面
方案2(controller层,马上修改,写数据操作的时候修改):ES搜索服务和Nginx商品详情页服务对外提供操作接口,后台在商品增删改后,调用两个接口
小结,两种都是一样的,还有一种 延迟修改,再次读数据操作的时候修改
以上两种方式都有同一个严重问题:就是代码耦合,商品服务中需要嵌入搜索和商品页面服务,违背了微服务的独立原则。
所以,我们会通过另外一种方式来解决这个问题:消息队列
消息队列:异步、解耦(相对同一个Java程序内多线程)、限流保护数据库
4.2 解决方式
发送方:商品微服务
什么时候发? 当商品服务对商品进行写操作:增、删、改的时候,需要发送一条消息,通知其它服务。
发送什么内容?对商品的增删改时其它服务可能需要新的商品数据,但是如果消息内容中包含全部商品信息,数据量太大,而且并不是每个服务都需要全部的信息。因此我们只发送商品id,其它服务可以根据id查询自己需要的信息。
接收方:搜索微服务、静态页微服务
接收消息后如何处理?
消费方1:搜索微服务:
增/改:添加新的数据到索引库
删:删除索引库数据
消费方2:静态页微服务:
增:创建新的静态页
删:删除原来的静态页
改:删除原来的页面 + 创建新的静态页
4.3 具体解决方式
对于商品微服务,新增的时候调用,新增记录最后,发送消息到消息队列rabbitmq:
对于商品微服务,修改的时候,修改记录最后,发送消息到消息队列rabbitmq
搜索服务接收到消息后要做的事情:
增:添加新的数据到索引库
删:删除索引库数据
改:修改索引库数据
因为索引库的新增和修改方法是合二为一的,因此我们可以将这两类消息一同处理,删除另外处理。
这里只是接收消息而不发送,所以不用配置template相关内容。good
商品静态页服务接收到消息后的处理:
增:创建新的静态页
删:删除原来的静态页
改:创建新的静态页并删除原来的
ps:我们编写的创建静态页的方法也具备覆盖以前页面的功能,因此:增和改的消息可以放在一个方法中处理,删除消息放在另一个方法处理。
ps:和ES索引库一样,这里只是接收消息而不发送,所以不用配置template相关内容。
重新启动项目,并且登录RabbitMQ管理界面:http://192.168.56.101:15672
第一,看到交换机已经创建出来了;
第二,看到队列也已经创建完毕;
第三,看到队列都已经绑定到交换机;
第四,修改数据试一试,在商品微服务修改商品数据的价格,分别在搜索及商品详情页查看是否统一。
五、小结
RabbitMQ电商实践(数据库-ES索引库-Nginx商品详情页),完成了。
天天打码,天天进步!!!