有赞调度系统 TSP

前言 有赞发展初期,随着公司业务的增长,原本许多单机上定时执行的 crontab 任务越来越多,配置的维护成本变高,运行结果不能可视化,管理不统一,存在单点风险,运维和监控空白等等诸多弊端的显现,促使了第一代定时调度系统 Watchman 1.0 的诞生。Watchman 是一款集中式定时任务调度系统,根据业务提供的任务服务信息,参数和 cron 表达式,周期性发起回调。支持 Agent(…

Read More

有赞数据仓库实践之路

一、大数据环境下的有赞数仓 关于数据仓库,在维基百科中将它定义为用于报表和数据分析的系统,是商务智能 Business Intelligence 的核心部分。在数据仓库诞生之初,它只被设计成面向管理层所需要的决策支持系统,并不对业务方(这里指各应用系统)提供数据支持。 然而在大数据环境的背景下,当 Hadoop 生态已然成为大数据现实意义上的载体,以 Hive 为基础的数据仓库已经不能仅仅只提供决策支持的需求了——它需要同时满足某些业务上对数据的统计需求。 因此,当下的数据仓库应该有一个新的定义:大数据环境下的数据仓库是指对全局数据(包含时间和空间:…

Read More

有赞零售中台建设方法的探索与实践

一、业务背景 1.1 零售SaaS业务架构概览 上图是有赞零售SaaS业务整体业务架构概览,大体上可以分为前台业务、中台业务、后台业务。 前台业务主要是面向前端消费者,包含全渠道销售、各业务单元的商品、订单、会员、营销、进销存、智能导购等业务。前台业务的特点是变化快、差异性大;细节性体验、综合性体验;跨平台、多触点。 中台业务承担承上启下、数据打通、…

Read More

记一次dubbo服务发现导致的OOM

  7月份某个平凡的下午,我们突然收到大量的线上告警:应用A的老年代内存使用率大于95%。登陆到监控管理平台可以看到3点半之后该应用的老年代内存使用率一路飙升,直逼100%,接着年轻代也一路上升。 图1 我们查看了一下进来的请求也很平稳,并没有突然爆发,那这个地方的罪魁祸首会是谁呢?为了方便读者接下来的阅读,在介绍这次故障之前,我们首先介绍一下我司的dubbo服务发现的流程。 dubbo服务发现流程   我们的开发人员在使用远程服务的时候首先需要配置一个dubbo xml文件或者在使用的地方加上@Reference,二者都是用来对dubbo消费者引用服务进行一些配置,然后应用在启动的时候会将配置信息转化为一个ReferenceBean对象,并调用createProxy方法创建一个远程服务接口的代理对象。因为我们的消费者并不是和服务端直接地址相连的,…

Read More

3招把战略项目落到实处—Scrum三支柱在战略项目管理中的应用

导读 战略,是为实现某种目标(如政治、军事、经济或国家利益方面的目标)而制定的大规模、全方位的长期行动计划。战略的落地常常是经由跨部门、多角色、多模块的复杂协同单元共同完成,基于此特点,战略项目对管理动作的系统性、全局性提出更高要求。我们通过反复的实践发现,Scrum框架中的经验控制理论同样适用于战略项目管理,我们将结合透明、检视、调整这三支柱来介绍我们如何做战略落地。 [透明(Transparency):大处聚焦透明,小处以终为始] 战略项目通常不仅仅是面向单一团队的独立、局部的活动,…

Read More