有赞BI平台实现原理

一、概述 1.1 背景 有赞是一家SaaS公司,更是一家大数据公司。如何从海量数据中高效地挖掘数据的价值,并对数据进行可视化分析与展示,是我们亟待解决的问题。鉴于此有赞BI平台应运而生,BI平台经过多次迭代,使用户可以快速方便地在BI平台进行数据的分析与展示,满足了不同业务的取数需求,目前月均 UV 700+,PV 3W5+,报表总数 5K+。 本文主要从以下三方面进行阐述 BI平台面向的用户及应用场景 如何使用BI平台进行数据的分析与展示 BI取数的实现原理…

Read More

有赞 Flink 实时任务资源优化探索与实践

背景 随着 Flink k8s 化以及实时集群迁移完成,有赞越来越多的 Flink 实时任务运行在 K8s 集群上,Flink k8s 化提升了实时集群在大促时弹性扩缩容能力,更好的降低大促期间机器扩缩容的成本。同时,由于 K8s 在公司内部有专门的团队进行维护,Flink k8s 化也能够更好的减低公司的运维成本。 不过当前 Flink k8s 任务资源是用户在实时平台端进行配置,…

Read More

浅谈有赞大数据安全体系

一、背景 据统计表明,全球的数据量每过两年翻一番,不知道什么时候开始,“大数据”已经成了我们经常挂在嘴边的词。随着大数据时代的来临,数据无疑是企业和用户最为重要和宝贵的数字资产,那么安全体系的建设尤为重要和关键,而其中数据安全和隐私保护则是安全体系的重中之重。 2018年7月,中国信通院发布了大数据安全白皮书,标志着数据安全正式作为国家大数据战略。本文将从数据安全的定义和目标入手,逐步介绍有赞的大数据安全体系的发展和建设过程。 二、什么是大数据安全 2.1 大数据安全定义和目标 说到安全,我们都熟悉计算机系统安全性的 CIA 原则(…

Read More

ClickHouse 在有赞的实践之路

一、前言 本文主要介绍了 ClickHouse 的简单原理,有赞 OLAP 相关组件以及 ClickHouse 在有赞的实践之路。 二、ClickHouse 介绍 ClickHouse 是一款由俄罗斯 Yandex 公司开发的 C++ 开源高性能 OLAP 组件。在 Yandex 内部, ClickHouse…

Read More

有赞DMP平台实践

一、概述 1.1 背景介绍 有赞是一家SaaS公司,为商家提供全渠道、全场景的SaaS产品服务,也因此积累了全渠道、全场景的商家经营数据。面对大量数据,大数据工程师从多方面、多维度的分析挖掘数据价值,以此助力商家成功。其中,DMP(Data Management Platform)作为有赞大数据生态的一部分,结合全渠道、全场景数据,以用户,商品,店铺等作为主体,…

Read More