kafka是什么中间件(中间件koa)
导语:中间件-kafka原理-正常、重试、死信队列、延时队列原理及区别
正常队列、重试队列、死信队列、延时队列原理及区别
中间件-kafka原理
消费失败问题
试想如果消费者在消费时发生了异常,那么就不会对这一次消费进行确认(Ack),进而发生回滚消息的操作之后消息始终会放在队列的顶部,然后不断被处理和回滚,导致队列陷入死循环。
为了解决该问题,引入回退队列。可以为每个队列设置一个回退队列。
回退队列
消费端消费消息失败时,为防止消息无故丢失而重新将消息回滚到Broker中,这个时候可以将消息写入回退队列。
重试队列
与回退队列不同的是重试队列一般分成多个重试等级,每个重试等级一般也会设置重新投递延时,重试次数越多投递延时就越大。
回退队列和死信队列都是为异常的处理提供的一种机制保障;可以将重试队列看作为回退队列的一种。
例子消息第一次消费失败入重试队列Q1,Q1的重新投递延迟为5s,在5s过后重新投递该消息;如果消息再次消费失败则入重试队列Q2,Q2的重新投递延迟为10s,在10s过后再次投递该消息。以此类推,重试越多次重新投递的时间就越久,为此需要设置一个上限,超过投递次数就入死信队列。
搭配:正常队列+重试队列+死信队列的例子如下
1.第一次消费失败,消息进入5秒重试队列。
2.5秒队列投递失败,消息进入10秒重试队列;
3.10秒队列重试失败,消息进入死信队列;
这里的投递均为消费者主动拉取;
5、10、20、30……这里可以根据业务场景灵活进行配置,逐级增加延时时长。
延时队列
再来看看常用的延时队列
生产者和消费者步骤
1.延时队列并不直接写入目标topic队列,而是先写入内置delay-topic的延时队列中;
2.由DelayService针对不同延时等级的topic开启不同线程进行拉取,将达到指定时间的消息写入目标topic;
3.消费者正常订阅和消费;
重试队列与延迟队列区别
相同点:都是需要设置延迟级别。
区别点:延迟队列动作由内部触发,重试队列动作由外部消费端触发;延迟队列作用一次,而重试队列的作用范围会向后传递。
免责声明:本站部份内容由优秀作者和原创用户编辑投稿,本站仅提供存储服务,不拥有所有权,不承担法律责任。若涉嫌侵权/违法的,请与我联系,一经查实立刻删除内容。本文内容由快快网络小馨创作整理编辑!