大数据开发平台(Data Platform)在有赞的最佳实践

前言 随着公司规模的增长,对大数据的离线应用开发的需求越来越多,这些需求包括但不限于离线数据同步(MySQL/Hive/Hbase/Elastic Search 等之间的离线同步)、离线计算(Hive/MapReduce/Spark 等)、定时调度、运行结果的查询以及失败场景的报警等等。 在统一的大数据开发平台产生之前,面临一系列的问题: 多个开发和调度入口,不同的业务部门之间的项目或组件很难复用,同时带来繁重的运维成本 Hadoop 的环境对业务团队的同事来讲不友好(除了要熟悉业务以外还需要对底层框架有比较深入的了解)…

Read More