从量化到优化,详解有赞离线数据降本之路

一、引言 1.1 背景 年初,一个月黑风高的夜晚,数据中台的TL独自坐在工位上,左手托着下巴,右手搭着键盘,指尖缓动,眉头紧锁。面对下边这张图,本可以下班的他,迟迟不愿离开。 过去的半年,有赞的业务高速增长,可喜可贺。但是数据中台的计算资源消耗也水涨船高,半年翻一番,甚至超过业务涨幅。再这么下去,部门恐怕要凉凉,想到这,不禁打了个寒颤。…

Read More

数据成本知多少?全域账单解烦恼

一、背景 2020H1我们开展数据中台-离线数据成本治理并取得了一定的成效(详情可以参考往期文章:从量化到优化,详解有赞离线降本之路)。文中预告了下半年会拓展成本治理的范围,H2我们便开始思考并投入有赞数据的全局管理。不限于离线数据,实时数据、内部的平台工具均需要做到可管理、可治理。 此外,数据成本透明度同样需要提升。目前成本只能覆盖至数据中台内部,和前台业务关联度低的问题需要解决。用户层面,我们也收到了诸多需求,例如需要相对灵活的成本分析功能、可满足多种角色的分析视角等。 带着这些问题和用户需求,我们开始构建数据中台的全域成本账单,力求达成如下几个目标: 成本多类型支持 成本全业务覆盖…

Read More

有赞大数据离线集群迁移实战

一、背景介绍 有赞是一家商家服务公司,向商家提供强大的基于社交网络的,全渠道经营的 SaaS 系统和一体化新零售解决方案。随着近年来社交电商的火爆,有赞大数据集群一直处于快速增长的状态。在 2019 年下半年,原有云厂商的机房已经不能满足未来几年的持续扩容的需要,同时考虑到提升机器扩容的效率(减少等待机器到位的时间)以及支持弹性伸缩容的能力,我们决定将大数据离线 Hadoop 集群整体迁移到其他云厂商。 在迁移前我们的离线集群规模已经达到 200+ 物理机器,每天 40000+…

Read More

有赞ABTest系统:数据驱动增长实践

一、背景 有赞是一个商家服务公司,致力于帮助每一位重视产品和服务的商家成功。随着移动互联网的流量增长红利渐渐褪去,商家获得新的流量越来越困难,帮助商家实现更有效的流量转化与长期目标的增长是有赞SaaS服务的应有之义;同时,随着有赞SaaS功能的不断完善,服务的商家不断增多,而业务场景也越来越复杂,考虑到有限的研发资源,提升产品和技术的迭代效率成为当务之急。 在硅谷,增长黑客等数据驱动增长的方法论,正在帮助如Facebook、Google等如此体量的公司实现持续的业务高速增长;在国内,通过数据手段来驱动业务增长也取得了共识,数据成为赋能增长的核心手段。其中,A/B测试作为数据驱动增长的核心工具,可以有效地提升流量的转化效率和产研的迭代效率。 因此,…

Read More

HiveCube在有赞的实践

作者:小君 部门:数据中台 一、前言 多维分析是数据仓库系统下游常见的基础应用,底层数据是包含多种粒度汇总结果的Cube,用于提供上卷,下钻等操作的数据支持。创建Cube的工具有很多,本文重点介绍在多维汇总场景下,由传统开发模式替换为HiveCube开发模式过程中碰到的问题以及处理经验,主要包括以下方面的内容: 背景 理论 实践 二、背景 在今年上半年,我们接到公司一个项目,项目的大致内容是给有赞商家提供自助取数功能。自助取数功能是给有赞商家提供不同维度下不同主题域指标的预览和下载服务。比如商家可以查看交易域的下单金额,客户域的客户数,…

Read More