有赞搜索系统的技术内幕

上文说到有赞搜索系统的架构演进,为了支撑不断演进的技术架构,除了 Elasticsearch 的维护优化之外,我们也开发了上层的中间件来应对不断提高的稳定性和性能要求。 Elasticsearch 的检索执行效率可以表示为: O(num_of_files * logN) 其中 numoffiles 表示索引文件段的个数,N 表示需要遍历的数据量,从这里我们可以总结出提升查询性能可以考虑的两点: 减少遍历的索引文件数量 减少遍历的索引文档总数 从 Elasticsearch 自身来说,减少索引文件数量方面可以参考几点:…

Read More

技术活动 |【有赞Data】第一期大数据技术沙龙·网易有数(已结束)

会议亮点 从底层逻辑到上层应用,全面分享数据如何赋能运营 面对面探讨各个场景最优的大数据技术方案 深入解读大数据技术和发展趋势,剖析最符合业务需求的大数据应用 限量发售200票(30张早鸟票),保证有位置可坐 早到有惊喜,前50名准备了价值88元的有赞伴手礼,前100名准备了价值35元的小心意 会议流程 13:00-14:00 嘉宾签到、互动合影 14:00-14:45 网易李诺:智能的敏捷可视化分析 15:00-15:…

Read More

大数据开发平台(Data Platform)在有赞的最佳实践

前言 随着公司规模的增长,对大数据的离线应用开发的需求越来越多,这些需求包括但不限于离线数据同步(MySQL/Hive/Hbase/Elastic Search 等之间的离线同步)、离线计算(Hive/MapReduce/Spark 等)、定时调度、运行结果的查询以及失败场景的报警等等。 在统一的大数据开发平台产生之前,面临一系列的问题: 多个开发和调度入口,不同的业务部门之间的项目或组件很难复用,同时带来繁重的运维成本 Hadoop 的环境对业务团队的同事来讲不友好(除了要熟悉业务以外还需要对底层框架有比较深入的了解)…

Read More

Lambda架构在有赞广告平台的应用与演进

有赞广告平台依托于有赞微商城,帮助商家投放广告。通过有赞广告平台,商家可以在腾讯广点通、云堆、小博无线等流量渠道投放广告。 对于有赞广告平台,除了提供基础的广告编辑、投放、素材管理等功能,最重要的就是广告的投放效果的展示、分析功能了。有赞广告平台的数据分析模块提供了不同的时间维度(天、小时),不同的实体维度(广告计划、广告、性别、年龄、地域)下的不同类型指标(曝光、点击、花费、…

Read More

有赞大数据实践: 敏捷型数据仓库的构建及其应用

前言 互联网公司一般发展迅速. 一方面, 业务飞速发展, 当前应用的形式和模型每天都在变化; 企业的产品也在经历不断的下线上线过程. 数据仓库如何拥抱变化, 是难点之一. 互联网的运营人员从了解经营状况转化为精细化运营, 这就于要求数据仓库具有提供高效明细数据能力, 数据仓库如何在庞大数据量的前提下, 实现满足不同层次的数据提出和分析, 是难点之二. 数据经过ETL最终到达使用数据者手里; 提取数据和提出数据的需求往往来自不同的部门和出于不同的目的. 这一般会导致数据口径不一致, 数据含义模糊, 甚至数据正确性很难校验. 数据仓库如何保证数据口径一致, 数据路径可追溯性, 是难点之三. 数据仓库的应用领域除了各个业务部门还包括技术部门本身. 由于海量数据处理, 互联网的技术架构越来越依赖大数据平台的支持. 一个点上平台每天都会有数以万记的店铺和商品更新,…

Read More