HiveCube在有赞的实践

作者:小君 部门:数据中台 一、前言 多维分析是数据仓库系统下游常见的基础应用,底层数据是包含多种粒度汇总结果的Cube,用于提供上卷,下钻等操作的数据支持。创建Cube的工具有很多,本文重点介绍在多维汇总场景下,由传统开发模式替换为HiveCube开发模式过程中碰到的问题以及处理经验,主要包括以下方面的内容: 背景 理论 实践 二、背景 在今年上半年,我们接到公司一个项目,项目的大致内容是给有赞商家提供自助取数功能。自助取数功能是给有赞商家提供不同维度下不同主题域指标的预览和下载服务。比如商家可以查看交易域的下单金额,客户域的客户数,…

Read More

有赞效能数据赋能实践

前言 2020年全球最大的黑天鹅事件——“新冠病毒”的爆发,对线下集中办公工模式产生了巨大的挑战。 面对「如何通过远程办公进行跨地域协作」这一难题,各大公司使出浑身解数。少数公司甚至会有一些奇葩操作:有的要求研发工作时间全程开启摄像头;有的要求开通远程桌面,实时监控员工的电脑桌面;有的要求早中晚均需进行打卡汇报……各种“骚操作”不断,在网上一度也是被热议的话题。那么有没有什么办法能快速、明确地知晓研发办公的效率呢?怎么做到有效感知“效率”,而不是实时观察“人”呢?…

Read More

协同能力是效能提升的关键

背景 一个城市越繁荣,所容纳的行业就越丰富。一个行业越兴盛,市场规模就越大,分工就越细,各类专业人士就越多元。经济学之父亚当斯密在国富论开篇即提到“分工出现之后,劳动生产力得到了最大的增进,以及运用劳动时的熟练程度、技巧和判断力得以加强”。 高度繁荣的互联网行业,分工已经非常细致。一个典型的例证是,我们已无法向我们的父辈很快说清楚我们的工作是干什么的。如下图所示,有赞招聘网站( job.youzan.com )上已有 22 页的岗位在招聘。提高组织的效能,…

Read More

利用Arthas精准定位Java应用CPU负载过高问题

最近我们线上有个应用服务器有点上头,CPU总能跑到99%,我寻思着它流量也不大啊,为啥能把自己整这么累?于是我登上这台服务器,看看它到底在干啥! 以前碰到类似问题,可能会考虑使用top -Hp 加 jstack命令去排查,虽然能大致定位到问题范围,但有效信息还是太少了,多数时候还是要靠猜。 今天向大家推荐一款更高效更精准的工具:Arthas! Arthas 是Alibaba开源的Java诊断工具,能够帮助我们快速定位线上问题。基本的安装使用可以参考官方文档:https://alibaba.github.io/arthas…

Read More

核对体系-资损防控(核对篇)

导语:感谢开发小伙伴卢启宝(花名:七宝)、尹逊志(花名:小鱼儿)在项目中辛苦付出! 一.前言 随着有赞的业务增长,单量与日俱增,业务场景变得越来越复杂,迭代的速度变得更快,出现故障的概率更大,从而产生的资损可能性也变大,这无论对于有赞本身还是对于有赞的商家来说都是很可怕的事情,我们要保证商家在有赞做生意是安全的、值得信赖的,所以及时发现问题、及时止血变得极其重要。同时,我们发现由于业务场景变得复杂,开发人员和测试人员也疲惫地奔波在各种场景的测试中,捉襟见肘,…

Read More