HBase Bulkload 实践探讨
一、 背景 HBase 是一个面向列，schemaless，高吞吐，高可靠可水平扩展的 NoSQL 数据库，用户可以通过 HBase client 提供的 put get 等 api 实现在数据的实时读写。在过去的几年里，HBase 有了长足的发展，它在越来越多的公司里扮演者越来越重要的角色。同样的，在有赞 HBase…
Read MoreHBase写吞吐场景资源消耗量化分析及优化
一. 概述 HBase 是一个基于 Google BigTable 论文设计的高可靠性、高性能、可伸缩的分布式存储系统。 网上关于 HBase 的文章很多，官方文档介绍的也比较详细，本篇文章不介绍HBase基本的细节。 本文从 HBase 写链路开始分析，然后针对少量随机读和海量随机写入场景入手，全方面量化分析各种资源的开销, 从而做到以下两点： 在给定业务量级的情况下，预先评估好集群的合理规模 在 HBase 的众多参数中，…
Read More有赞客户行为收集与实时处理系统设计
背景 有赞会员系统主要承载着有赞的客户经营领域，致力于给商家提供全渠道客户经营的能力。随着社交网络的普及，其社会化、多元化和创新化特质让商家与消费者之间的联系方式更加丰富，互动更加频繁，相应的运营需求也大大增加。除了传统的会员经营手段之外，会员系统需要提供能力，来帮助商家定义客户的生命周期，构建精准的消费画像：商家可以由此全面、及时地了解客户的喜好、行为轨迹、消费能力等属性，定义进而进行差异化的客户经营。我们需要构建一套实时的客户行为收集处理系统，来满足上述业务需求。本文就简单聊聊客户行为收集系统的设计。 行为模型 我们把客户行为事件定义为客户与业务系统间的交互，客户行为事件模型则描述了客户在业务系统中的轨迹。它记录了某个业务场景下一类或多类的客户行为事件，并能够反映事件的先后顺序。…
Read More