Overview 从有赞双机房开始到金融云架构，针对业务方在多机房的应该部署以及消息发送订阅需求，需要NSQ针对双机房以及多机房部署提供消息发送与订阅服务。本文主要介绍了NSQ双机房以及多机房设计以及经验总结。 场景和需求 下图1是一个机房内基本的NSQ消息生产和消费的部署。一个机房内生产者往NSQ集群发消息，多个消费者订阅消息。 双机房场景下，业务的生产和消费在两个机房都有部署，也有可能部署在不同机房中，如下图2。 对于生产者和消费者，在满足升级房生产消费的同时，NSQ的双机房方案需要做到业务方无感知，尽量降低业务方的使用成本。同时，NSQ的双机方案署要能够实现topic切换，当某一机房不可用时，通过切换机房能够尽快恢复消息生产和消费。 NSQ双机房设计 我们结合NSQ中的服务发现组件nsqlookupd的功能实现NSQ的双机房功能。nsqlookupd是NSQ组件中用于topic生产以及channel订阅的额服务发现的组件，消息生产者/…
Read Moreoverview 有赞的自研版 NSQ 在高可用性以及负载均衡方面进行了改造，自研版的 nsqd 中引入了数据分区以及副本，副本保存在不同的 nsqd 上，达到容灾目的。此外，自研版 NSQ 在原有 Protocol Spec 基础上进行了拓展，支持基于分区的消息生产、消费，以及基于消息分区的有序消费，以及消息追踪功能。 为了充分支持自研版 NSQ 新功能，…
Read More在系列文章前面几篇中，介绍了NSQ改造的过程和几个基础特性，本文中我们继续介绍几个高级特性及其使用场景，这些都是结合有赞业务场景总结提炼出来的重要功能。 NSQ拓展消息格式的设计 有赞中间件在NSQ中引入了支持拓展内容的消息格式，通过支持拓展的消息格式。业务方能够在消息体外定义额外的数据，拓展了应用功能，支持更多的场景。 相比较于Kafka等消息中间件，NSQ的消息格式在内容和数量上较为简单。一条消息除了基本的元数据之外，其余内容为消息体。消息的元数据主要包括了消息在服务端产生时的时间戳，服务端对于该消息的下发次数，消息ID。Kafka消息格式(record batch,control record,record)中出现的部 分元数据例如压缩格式（…
Read MoreOverview As redesigned NSQ in youzan shipped with new features like HA and load balance, partition and replica are introduced in redesigned nsqd. Replications of…
Read More