会议亮点 从底层逻辑到上层应用，全面分享数据如何赋能运营 面对面探讨各个场景最优的大数据技术方案 深入解读大数据技术和发展趋势，剖析最符合业务需求的大数据应用 限量发售200票（30张早鸟票），保证有位置可坐 早到有惊喜，前50名准备了价值88元的有赞伴手礼，前100名准备了价值35元的小心意 会议流程 13:00-14:00 嘉宾签到、互动合影 14:00-14:45 网易李诺：智能的敏捷可视化分析 15:00-15:…
Read More有赞数据仓库背景 业务系统使用mysql数据库，有统一的DDL规范和SQL规范 数据仓库基于Hive构建 业务快速变化，员工数量持续增加 第一版：手工维护的表格 在有赞大数据平台发展初期，业务量不大，开发者对业务完全熟悉，从ETL到统计分析都可以轻松搞定，当时没有想过要做一个元数据系统。 随着公司规模扩大，开始有专职的数据分析师，作为大数据平台的新用户，希望能够记录和查看核心表的信息。最简单的方法就是去业务数据库里查看注释，但是一方面业务数据库的注释不全或不准，另一方面分析师的视角和开发者不同，需要从不同角度去描述表或字段，比如完整的枚举值含义、业务统计口径等。 于是有了第一版的数据字典，手工维护一系列核心的业务表和统计报表，…
Read More前言 随着公司规模的增长，对大数据的离线应用开发的需求越来越多，这些需求包括但不限于离线数据同步(MySQL/Hive/Hbase/Elastic Search 等之间的离线同步)、离线计算(Hive/MapReduce/Spark 等)、定时调度、运行结果的查询以及失败场景的报警等等。 在统一的大数据开发平台产生之前，面临一系列的问题： 多个开发和调度入口，不同的业务部门之间的项目或组件很难复用，同时带来繁重的运维成本 Hadoop 的环境对业务团队的同事来讲不友好（除了要熟悉业务以外还需要对底层框架有比较深入的了解）…
Read More有赞广告平台依托于有赞微商城，帮助商家投放广告。通过有赞广告平台，商家可以在腾讯广点通、云堆、小博无线等流量渠道投放广告。 对于有赞广告平台，除了提供基础的广告编辑、投放、素材管理等功能，最重要的就是广告的投放效果的展示、分析功能了。有赞广告平台的数据分析模块提供了不同的时间维度（天、小时），不同的实体维度（广告计划、广告、性别、年龄、地域）下的不同类型指标（曝光、点击、花费、…
Read More有赞使用storm已经有将近3年时间，稳定支撑着实时统计、数据同步、对账、监控、风控等业务。订单实时统计是其中一个典型的业务，对数据准确性、性能等方面都有较高要求，也是上线时间最久的一个实时计算应用。通过订单实时统计，描述使用storm时，遇到的准确性、性能、可靠性等方面的问题。 订单实时统计的演进 第一版：流程走通 在使用storm之前，显示实时统计数据一般有两种方案： 在数据库里执行count、sum等聚合查询，是简单快速的实现方案，但容易出现慢查询。 在业务代码里对统计指标做累加，…
Read More