从量化到优化，详解有赞离线数据降本之路
一、引言 1.1 背景 年初，一个月黑风高的夜晚，数据中台的TL独自坐在工位上，左手托着下巴，右手搭着键盘，指尖缓动，眉头紧锁。面对下边这张图，本可以下班的他，迟迟不愿离开。 过去的半年，有赞的业务高速增长，可喜可贺。但是数据中台的计算资源消耗也水涨船高，半年翻一番，甚至超过业务涨幅。再这么下去，部门恐怕要凉凉，想到这，不禁打了个寒颤。…
Read More数据成本知多少？全域账单解烦恼
一、背景 2020H1我们开展数据中台-离线数据成本治理并取得了一定的成效(详情可以参考往期文章：从量化到优化，详解有赞离线降本之路)。文中预告了下半年会拓展成本治理的范围，H2我们便开始思考并投入有赞数据的全局管理。不限于离线数据，实时数据、内部的平台工具均需要做到可管理、可治理。 此外，数据成本透明度同样需要提升。目前成本只能覆盖至数据中台内部，和前台业务关联度低的问题需要解决。用户层面，我们也收到了诸多需求，例如需要相对灵活的成本分析功能、可满足多种角色的分析视角等。 带着这些问题和用户需求，我们开始构建数据中台的全域成本账单，力求达成如下几个目标： 成本多类型支持 成本全业务覆盖…
Read More有赞大数据离线集群迁移实战
一、背景介绍 有赞是一家商家服务公司，向商家提供强大的基于社交网络的，全渠道经营的 SaaS 系统和一体化新零售解决方案。随着近年来社交电商的火爆，有赞大数据集群一直处于快速增长的状态。在 2019 年下半年，原有云厂商的机房已经不能满足未来几年的持续扩容的需要，同时考虑到提升机器扩容的效率（减少等待机器到位的时间）以及支持弹性伸缩容的能力，我们决定将大数据离线 Hadoop 集群整体迁移到其他云厂商。 在迁移前我们的离线集群规模已经达到 200+ 物理机器，每天 40000+…
Read More有赞ABTest系统：数据驱动增长实践
一、背景 有赞是一个商家服务公司，致力于帮助每一位重视产品和服务的商家成功。随着移动互联网的流量增长红利渐渐褪去，商家获得新的流量越来越困难，帮助商家实现更有效的流量转化与长期目标的增长是有赞SaaS服务的应有之义；同时，随着有赞SaaS功能的不断完善，服务的商家不断增多，而业务场景也越来越复杂，考虑到有限的研发资源，提升产品和技术的迭代效率成为当务之急。 在硅谷，增长黑客等数据驱动增长的方法论，正在帮助如Facebook、Google等如此体量的公司实现持续的业务高速增长；在国内，通过数据手段来驱动业务增长也取得了共识，数据成为赋能增长的核心手段。其中，A/B测试作为数据驱动增长的核心工具，可以有效地提升流量的转化效率和产研的迭代效率。 因此，…
Read More