一.背景 数据中心为微商城和零售的商家后台分别建立了一套数据模型、 数据服务， 在此基础上分别建立了一套数据分析的产品体系，随着微商城和零售慢慢往连锁版本融合并伴随着新业务接入，目前的开发模式遇到了以下痛点： 两套数据服务有很多相同之处，重复烟囱式的开发，造成了人力资源浪费，而且开发效率低，从数据开发到最终交付数据服务，需要经历较长的周期； 两套数据模型在指标上存在大量重合，相同的指标的重复开发，增加了开发和维护成本，且存在口径不一致的风险，导致众多线上咨询，损害了商家对数据可靠性的信任。 基于上述痛点，数据应用团队搭建了统一的数据模型和数据服务。本文将介绍在搭建统一数据模型的过程中遇到的问题并给出相应的解决方案。 二.统一数据模型实现 上层的数据分析模型会在某个主题下，…
Read More一、概述 1.1 背景 有赞是一家SaaS公司，更是一家大数据公司。如何从海量数据中高效地挖掘数据的价值，并对数据进行可视化分析与展示，是我们亟待解决的问题。鉴于此有赞BI平台应运而生，BI平台经过多次迭代，使用户可以快速方便地在BI平台进行数据的分析与展示，满足了不同业务的取数需求，目前月均 UV 700+，PV 3W5+，报表总数 5K+。 本文主要从以下三方面进行阐述 BI平台面向的用户及应用场景 如何使用BI平台进行数据的分析与展示 BI取数的实现原理…
Read More背景 随着 Flink k8s 化以及实时集群迁移完成，有赞越来越多的 Flink 实时任务运行在 K8s 集群上，Flink k8s 化提升了实时集群在大促时弹性扩缩容能力，更好的降低大促期间机器扩缩容的成本。同时，由于 K8s 在公司内部有专门的团队进行维护，Flink k8s 化也能够更好的减低公司的运维成本。 不过当前 Flink k8s 任务资源是用户在实时平台端进行配置，…
Read More一、背景 据统计表明，全球的数据量每过两年翻一番，不知道什么时候开始，“大数据”已经成了我们经常挂在嘴边的词。随着大数据时代的来临，数据无疑是企业和用户最为重要和宝贵的数字资产，那么安全体系的建设尤为重要和关键，而其中数据安全和隐私保护则是安全体系的重中之重。 2018年7月，中国信通院发布了大数据安全白皮书，标志着数据安全正式作为国家大数据战略。本文将从数据安全的定义和目标入手，逐步介绍有赞的大数据安全体系的发展和建设过程。 二、什么是大数据安全 2.1 大数据安全定义和目标 说到安全，我们都熟悉计算机系统安全性的 CIA 原则(…
Read More一、前言 本文主要介绍了 ClickHouse 的简单原理，有赞 OLAP 相关组件以及 ClickHouse 在有赞的实践之路。 二、ClickHouse 介绍 ClickHouse 是一款由俄罗斯 Yandex 公司开发的 C++ 开源高性能 OLAP 组件。在 Yandex 内部, ClickHouse…
Read More