1. 概述 有赞是一个商家服务公司，提供全行业全场景的电商解决方案。在有赞，大量的业务场景依赖对实时数据的处理，作为一类基础技术组件，服务着有赞内部几十个业务产品，几百个实时计算任务，其中包括交易数据大屏，商品实时统计分析，日志平台，调用链，风控等多个业务场景，本文将介绍有赞实时计算当前的发展历程和当前的实时计算技术架构。 2. 实时计算在有赞发展 从技术栈的角度，我们的选择和大多数互联网公司一致，从早期的Storm，到JStorm， Spark Streaming 和最近兴起的Flink。从发展阶段来说，…
Read More背景 有赞会员系统主要承载着有赞的客户经营领域，致力于给商家提供全渠道客户经营的能力。随着社交网络的普及，其社会化、多元化和创新化特质让商家与消费者之间的联系方式更加丰富，互动更加频繁，相应的运营需求也大大增加。除了传统的会员经营手段之外，会员系统需要提供能力，来帮助商家定义客户的生命周期，构建精准的消费画像：商家可以由此全面、及时地了解客户的喜好、行为轨迹、消费能力等属性，定义进而进行差异化的客户经营。我们需要构建一套实时的客户行为收集处理系统，来满足上述业务需求。本文就简单聊聊客户行为收集系统的设计。 行为模型 我们把客户行为事件定义为客户与业务系统间的交互，客户行为事件模型则描述了客户在业务系统中的轨迹。它记录了某个业务场景下一类或多类的客户行为事件，并能够反映事件的先后顺序。…
Read More有赞使用storm已经有将近3年时间，稳定支撑着实时统计、数据同步、对账、监控、风控等业务。订单实时统计是其中一个典型的业务，对数据准确性、性能等方面都有较高要求，也是上线时间最久的一个实时计算应用。通过订单实时统计，描述使用storm时，遇到的准确性、性能、可靠性等方面的问题。 订单实时统计的演进 第一版：流程走通 在使用storm之前，显示实时统计数据一般有两种方案： 在数据库里执行count、sum等聚合查询，是简单快速的实现方案，但容易出现慢查询。 在业务代码里对统计指标做累加，…
Read More