数据资产治理-元数据采集那点事
一、介绍 数据资产治理(详情见:数据资产,赞之治理)的前提要有数据。它要求数据类型全、量大,并尽可能多地覆盖数据流转的各个环节。元数据采集就变得尤其重要,它是数据资产治理的核心底座。 在早期的采集系统,我们主要面向数仓,通过“API直连方式”采集Hive/Mysql表的元数据。随着业务的快速发展,数据运营、成本治理的需求越来越强烈。元数据需要覆盖到数据全链路,包括离线计算平台、实时计算平台、内部工具,…
Read More一、背景 据统计表明,全球的数据量每过两年翻一番,不知道什么时候开始,“大数据”已经成了我们经常挂在嘴边的词。随着大数据时代的来临,数据无疑是企业和用户最为重要和宝贵的数字资产,那么安全体系的建设尤为重要和关键,而其中数据安全和隐私保护则是安全体系的重中之重。 2018年7月,中国信通院发布了大数据安全白皮书,标志着数据安全正式作为国家大数据战略。本文将从数据安全的定义和目标入手,逐步介绍有赞的大数据安全体系的发展和建设过程。 二、什么是大数据安全 2.1 大数据安全定义和目标 说到安全,我们都熟悉计算机系统安全性的 CIA 原则(…
Read More一、前言 本文主要介绍了 ClickHouse 的简单原理,有赞 OLAP 相关组件以及 ClickHouse 在有赞的实践之路。 二、ClickHouse 介绍 ClickHouse 是一款由俄罗斯 Yandex 公司开发的 C++ 开源高性能 OLAP 组件。在 Yandex 内部, ClickHouse…
Read MoreVant 是有赞前端团队开源的一套轻量、可靠的移动端组件库。 历经八个月时长的开发,Vant 3.0 终于和大家正式见面咯。在本次迭代中,我们的主要工作是基于 Vue 3 重构整个代码仓库和周边生态,并发布 Vant 3.0、Vant Cli 3.0 和 Vant Use 1.…
Read More一、介绍 数据资产治理(详情见:数据资产,赞之治理)的前提要有数据。它要求数据类型全、量大,并尽可能多地覆盖数据流转的各个环节。元数据采集就变得尤其重要,它是数据资产治理的核心底座。 在早期的采集系统,我们主要面向数仓,通过“API直连方式”采集Hive/Mysql表的元数据。随着业务的快速发展,数据运营、成本治理的需求越来越强烈。元数据需要覆盖到数据全链路,包括离线计算平台、实时计算平台、内部工具,…
Read More一、What's DDD? 从定义入手: DDD全称Domain-Driven Design,即领域驱动设计,由Eric Evans于2003年提出。那既然是一种设计方法,ddd的作用对象是什么呢?这个问题光从定义是看不出来的,我们再往下看看。 换一个更高的视角: 我们在谈论到架构设计的时候,可以简化为三个层面:系统架构、技术架构和业务架构,这三者从三个不同的视角来描述我们的系统。系统架构关注系统的架构分层,技术架构决定使用的技术栈和框架。而作为一个偏向业务开发的工程师,我们日常施展拳脚的平台离不开业务架构这一层面,它根据业务需求设计相应的业务模块及其关系,决定了业务系统是否有足够的灵活性来面对业务的发展。…
Read More