有赞DMP平台实践

一、概述 1.1 背景介绍 有赞是一家SaaS公司,为商家提供全渠道、全场景的SaaS产品服务,也因此积累了全渠道、全场景的商家经营数据。面对大量数据,大数据工程师从多方面、多维度的分析挖掘数据价值,以此助力商家成功。其中,DMP(Data Management Platform)作为有赞大数据生态的一部分,结合全渠道、全场景数据,以用户,商品,店铺等作为主体,…

Read More

从量化到优化,详解有赞离线数据降本之路

一、引言 1.1 背景 年初,一个月黑风高的夜晚,数据中台的TL独自坐在工位上,左手托着下巴,右手搭着键盘,指尖缓动,眉头紧锁。面对下边这张图,本可以下班的他,迟迟不愿离开。 过去的半年,有赞的业务高速增长,可喜可贺。但是数据中台的计算资源消耗也水涨船高,半年翻一番,甚至超过业务涨幅。再这么下去,部门恐怕要凉凉,想到这,不禁打了个寒颤。…

Read More

数据成本知多少?全域账单解烦恼

一、背景 2020H1我们开展数据中台-离线数据成本治理并取得了一定的成效(详情可以参考往期文章:从量化到优化,详解有赞离线降本之路)。文中预告了下半年会拓展成本治理的范围,H2我们便开始思考并投入有赞数据的全局管理。不限于离线数据,实时数据、内部的平台工具均需要做到可管理、可治理。 此外,数据成本透明度同样需要提升。目前成本只能覆盖至数据中台内部,和前台业务关联度低的问题需要解决。用户层面,我们也收到了诸多需求,例如需要相对灵活的成本分析功能、可满足多种角色的分析视角等。 带着这些问题和用户需求,我们开始构建数据中台的全域成本账单,力求达成如下几个目标: 成本多类型支持 成本全业务覆盖…

Read More

有赞大数据离线集群迁移实战

一、背景介绍 有赞是一家商家服务公司,向商家提供强大的基于社交网络的,全渠道经营的 SaaS 系统和一体化新零售解决方案。随着近年来社交电商的火爆,有赞大数据集群一直处于快速增长的状态。在 2019 年下半年,原有云厂商的机房已经不能满足未来几年的持续扩容的需要,同时考虑到提升机器扩容的效率(减少等待机器到位的时间)以及支持弹性伸缩容的能力,我们决定将大数据离线 Hadoop 集群整体迁移到其他云厂商。 在迁移前我们的离线集群规模已经达到 200+ 物理机器,每天 40000+…

Read More

有赞ABTest系统:数据驱动增长实践

一、背景 有赞是一个商家服务公司,致力于帮助每一位重视产品和服务的商家成功。随着移动互联网的流量增长红利渐渐褪去,商家获得新的流量越来越困难,帮助商家实现更有效的流量转化与长期目标的增长是有赞SaaS服务的应有之义;同时,随着有赞SaaS功能的不断完善,服务的商家不断增多,而业务场景也越来越复杂,考虑到有限的研发资源,提升产品和技术的迭代效率成为当务之急。 在硅谷,增长黑客等数据驱动增长的方法论,正在帮助如Facebook、Google等如此体量的公司实现持续的业务高速增长;在国内,通过数据手段来驱动业务增长也取得了共识,数据成为赋能增长的核心手段。其中,A/B测试作为数据驱动增长的核心工具,可以有效地提升流量的转化效率和产研的迭代效率。 因此,…

Read More