Druid Segment Balance 及其代价计算函数分析
一. 引言 Druid 的查询需要有实时和历史部分的 Segment，历史部分的 Segment 由 Historical 节点加载，所以加载的效率直接影响了查询的 RT（不考虑缓存）。查询通常需要指定一个时间范围[StartTime, EndTime]，该时间范围的内所有 Segment 需要由 Historical 加载，最差的情况是所有 Segment 不幸都储存在一个节点上，加载无疑会很慢；…
Read MoreSpark Streaming在数据平台日志解析功能的应用
一、日志解析功能的背景： 通过日志，我们可以获得很多有用的信息，最常见的日志信息包括应用产生的访问日志、系统的监控日志，本文所针对的日志是大数据离线任务产生的运行日志。目前日志解析功能依附于有赞大数据平台，也就是有赞的data_platform，为该平台的一个功能。 目前支持解析的日志类型包括：Hive任务、Spark任务、Datay增量任务、导入任务、导出、MR任务、Hbasebulk、脚本任务等。dataplatform支持的调度类型为：批量重跑、测试类型、正常调度和手动导入任务。 做这个日志解析部分的目的分为几个，…
Read More有赞美业店铺装修前端解决方案
一、背景介绍 做过电商项目的同学都知道，店铺装修是电商系统必备的一个功能，在某些场景下，可能是广告页制作、活动页制作、微页面制作，但基本功能都是类似的。所谓店铺装修，就是用户可以在 PC 端进行移动页面的制作，只需要通过简单的拖拽就可以实现页面的编辑，属于用户高度自定义的功能。最终编辑的结果，可以在 H5、小程序进行展示推广。 有赞美业是一套美业行业的 SaaS 系统，为美业行业提供信息化和互联网化解决方案。有赞美业本身提供了店铺装修的功能，方便用户自定义网店展示内容，…
Read MoreHBase 读流程解析与优化的最佳实践
一、前言 本文首先对 HBase 做简单的介绍，包括其整体架构、依赖组件、核心服务类的相关解析。再重点介绍 HBase 读取数据的流程分析，并根据此流程介绍如何在客户端以及服务端优化性能，同时结合有赞线上 HBase 集群的实际应用情况，将理论和实践结合，希望能给读者带来启发。如文章有纰漏请在下面留言，我们共同探讨共同学习。 二、 HBase 简介 HBase 是一个分布式，可扩展，…
Read More为什么选择使用 OKR 进行项目过程管理
延续上次讨论的透过 OKR 进行项目过程管理的内容，有位朋友给了反馈，但是碍于回覆的字数有限，无法说明的更多，索性将内容弄得多点，变成一篇文章 😂😂😂 一、OKR OKR 是一个目标管理框架，可以帮助领导者将他们的团队从 A 领导到 B。OKR 的一些好处包含改善焦点、提高透明度以及团队之间更好的一致性。由英特尔的 Andrew Grove 发明，后来由谷歌推广，在硅谷科技公司中广为人知，…
Read More