一、需求背景 自有赞零售正式发布以来，已迭代百余个版本，业务的发展免不了带来工程代码的飞速增加，时至今日，有赞零售工程的业务代码数量已达24w行，所使用的的二方/三方 Pod 库的数量达到了100+，业务模块包括商品,交易，库存，会员等模块一共有15+;工程的急速膨胀给我们的日常开发中带来了诸多痛点: 工程编译速度降低，clean-build 一次需要25min左右 打包速度降低，在打包提测窗口增加了等待的时长 Merge Request 时触发的编译检查速度降低，多人员合并时造成堵塞…
Read More前言 有赞发展初期，随着公司业务的增长，原本许多单机上定时执行的 crontab 任务越来越多，配置的维护成本变高，运行结果不能可视化，管理不统一，存在单点风险，运维和监控空白等等诸多弊端的显现，促使了第一代定时调度系统 Watchman 1.0 的诞生。Watchman 是一款集中式定时任务调度系统，根据业务提供的任务服务信息，参数和 cron 表达式，周期性发起回调。支持 Agent(…
Read More一、大数据环境下的有赞数仓 关于数据仓库，在维基百科中将它定义为用于报表和数据分析的系统，是商务智能 Business Intelligence 的核心部分。在数据仓库诞生之初，它只被设计成面向管理层所需要的决策支持系统，并不对业务方（这里指各应用系统）提供数据支持。 然而在大数据环境的背景下，当 Hadoop 生态已然成为大数据现实意义上的载体，以 Hive 为基础的数据仓库已经不能仅仅只提供决策支持的需求了——它需要同时满足某些业务上对数据的统计需求。 因此，当下的数据仓库应该有一个新的定义：大数据环境下的数据仓库是指对全局数据（包含时间和空间：…
Read More一、业务背景 1.1 零售SaaS业务架构概览 上图是有赞零售SaaS业务整体业务架构概览，大体上可以分为前台业务、中台业务、后台业务。 前台业务主要是面向前端消费者，包含全渠道销售、各业务单元的商品、订单、会员、营销、进销存、智能导购等业务。前台业务的特点是变化快、差异性大；细节性体验、综合性体验；跨平台、多触点。 中台业务承担承上启下、数据打通、…
Read More