14 Dec 2020

从量化到优化，详解有赞离线数据降本之路

一、引言 1.1 背景 年初，一个月黑风高的夜晚，数据中台的TL独自坐在工位上，左手托着下巴，右手搭着键盘，指尖缓动，眉头紧锁。面对下边这张图，本可以下班的他，迟迟不愿离开。 过去的半年，有赞的业务高速增长，可喜可贺。但是数据中台的计算资源消耗也水涨船高，半年翻一番，甚至超过业务涨幅。再这么下去，部门恐怕要凉凉，想到这，不禁打了个寒颤。…

Read More
29 Nov 2019

数据资产，赞之治理

一、背景介绍 大数据概念的提出已十年有余，这期间风靡全球，与其相关的理论、技术和实践遍地开花，整个领域都在飞速发展。野蛮生长之下，“数据治理”的呼声水涨船高。工信部19年提出：将加强数据治理，扎实推进国家大数据发展战略，将数据治理重要性上升到新的高度。在各行业畅想AI驱动未来的大背景下，数据治理保障大数据有效管理、高质量、高效能，显得尤为重要。这个领域方兴未艾。 何为数据治理？没有标准答案。我们不妨顾名思义：“数据”的“…

Read More
20 Aug 2019

埋点质量保障

常见问题 我们收集日志，目的还是为了分析用户行为，挖掘潜在价值，最终能优化产品体验。因此，“高质量”是最基本要求，这是保证分析效果准确性的基石。那么，常见的质量问题有哪些呢？ 事件重复&丢失。重复是由于SDK自身或者前端开发疏忽的问题，导致相同事件重复发送；丢失可能是设备、网络原因，或者是开发者漏埋导致。 事件参数错误。常见的情况有：”必传而未传“、”非空而为空“、”值类型不对“、”值内容不对”…

Read More