一、大数据环境下的有赞数仓 关于数据仓库，在维基百科中将它定义为用于报表和数据分析的系统，是商务智能 Business Intelligence 的核心部分。在数据仓库诞生之初，它只被设计成面向管理层所需要的决策支持系统，并不对业务方（这里指各应用系统）提供数据支持。 然而在大数据环境的背景下，当 Hadoop 生态已然成为大数据现实意义上的载体，以 Hive 为基础的数据仓库已经不能仅仅只提供决策支持的需求了——它需要同时满足某些业务上对数据的统计需求。 因此，当下的数据仓库应该有一个新的定义：大数据环境下的数据仓库是指对全局数据（包含时间和空间：…
Read More一、需求 有赞大数据技术应用的早期，我们使用 Sqoop 作为数据同步工具，满足了 MySQL 与 Hive 之间数据同步的日常开发需求。 随着公司业务发展，数据同步的场景越来越多，主要是 MySQL、Hive 与文本文件之间的数据同步，Sqoop 已经不能完全满足我们的需求。在2017年初，我们已经无法忍受 Sqoop 给我们带来的折磨，准备改造我们的数据同步工具。当时有这么些很最痛的需求：…
Read More有赞数据仓库背景 业务系统使用mysql数据库，有统一的DDL规范和SQL规范 数据仓库基于Hive构建 业务快速变化，员工数量持续增加 第一版：手工维护的表格 在有赞大数据平台发展初期，业务量不大，开发者对业务完全熟悉，从ETL到统计分析都可以轻松搞定，当时没有想过要做一个元数据系统。 随着公司规模扩大，开始有专职的数据分析师，作为大数据平台的新用户，希望能够记录和查看核心表的信息。最简单的方法就是去业务数据库里查看注释，但是一方面业务数据库的注释不全或不准，另一方面分析师的视角和开发者不同，需要从不同角度去描述表或字段，比如完整的枚举值含义、业务统计口径等。 于是有了第一版的数据字典，手工维护一系列核心的业务表和统计报表，…
Read More