记录真实开发问题、项目实践和两三句就能说明白的技术点
凌晨告警"消费积压 XX 万条"怎么处理?本文把积压当系统性故障而不是随机事件:先讲清积压本质是消费速度跟不上生产速度,列五种最常见成因(消费者太少、单条太慢、下游故障、毒消息卡死、频繁 Rebalance),再给出三层观测手段(lag 指标、耗时日志、主动对账)与"先止血...
消息丢失是 MQ 生产事故高发区,且可能发生在生产者、Broker、消费者任意一段。本文把消息一生拆成三关逐个击破:生产端用同步确认 + 失败重试 + 本地消息表补偿防"发不出去";Broker 端用刷盘策略 + 多副本 + ISR 与 acks=all 防"存不住";消费...
从 Topic、分区、副本、offset 到消费组,Kafka 的核心概念不难但全是考点。本文先用一张"数据组织图"讲透每个概念的职责,再走一遍消息从生产到消费的完整链路:分区选择、攒批发送、ISR 同步、acks=0/1/all 语义,最后给出 spring-kafka ...
上消息队列该选 Kafka 还是 RocketMQ?本文不罗列参数,而是先把四款主流 MQ 的架构模型讲清楚:Kafka 的分区日志与高吞吐、RocketMQ 的事务与延迟消息、RabbitMQ 的交换机路由、Pulsar 的存算分离,再给一张含吞吐量级、功能特性、运维成本...
支付回调重复通知、消息队列重复投递、用户狂点提交按钮、RPC 自动重试——不做幂等轻则脏数据重则资损。本文先讲清幂等与防重的区别,再逐一拆解六种生产方案:数据库唯一索引(并发兜底最强)、状态机单向流转、Redis SETNX 防重窗口、token 令牌原子消费、乐观锁 CA...