优化Linux NAT网关
因为我们的生产环境没有专用的NAT设备，不得不使用Linux的NAT功能来解决生产内网访问公网的问题。 NAT的原理，大致如下图所示： 内网的机器，将网关配置成NAT网关的地址，当访问公网时，NAT会将访问公网的包的源地址（内网地址）转换为自己的公网地址，再将包发给公网的服务器。 然而，服务器访问公网与桌面系统访问公网的场景，是完全不同的，服务器访问公网的行为，通常比桌面系统的行为更有“规律“（其实与操作系统也有关系，不同操作系统的TCP/IP协议栈行为是有差别的）。比如，服务器会在相对集中、统一的时间同时发起公网请求，并且还是相对集中地访问固定的地址。这对NAT设备来说，…
Read More有赞分层自动化测试实践
1. 背景 先理一下自动化测试的概念，从广义上来说，一切通过工具(程序)的方式来代替或者辅助手工测试的行为都可以成为自动化。从狭义上来说，通过编写脚本的方式，模拟手工测试的过程，从而替代人工对系统的功能进行验证。 有赞是一家互联网行业的创业公司，测试起步较晚，发布非常频繁，就算每次只回归核心功能，对人数极少的几个测试人员来说工作量巨大，且基本是重复劳动，极其枯燥，持续时间长了也容易出错。 所以初期我们测试自动化切入的思路非常简单：从实际用户的角度出发，模拟真实的操作，替代现有的手工测试用例的执行。这样一来，每次重复的工作就可以用自动化来替代，…
Read More有赞统一日志平台初探
【编者的话】从2015年初入职有赞以来，一直致力于后端服务开发，主要设计开发了监控系统Hawk，但这不是本次要分享的点。一个月前，负责日志平台Track的小伙伴寻求梦想出去创业了，有幸接手了日志平台，这对本人确实是个不小的挑战，也同样是个学习成长的机会。此次就借着梳理日志平台的机会，给大家分享一下有赞统一日志平台的架构设计。 一、引言 自有赞成立以来，发展迅猛，业务增长很快，业务系统数量大，每天都会产生大量的系统日志和业务日志(据统计，平均每秒产生日志1.1万条，峰值1.5万条，每天的日志量约9亿条，…
Read MoreKylin, Mondrian, Saiku系统的整合
本文主要介绍有赞数据团队为了满足在不同维度查看、分析重点指标的需求而搭建的OLAP分析工具。这个工具对Kylin、Mondrian以及Saiku做了一个整合，主要工作包括一些定制化的修改以及环境的配置。 目前这个系统还处于一个需要优化、完善的过程，这篇博文也会相应地更新。 背景 在有赞发展的初期，数据团队主要的工作之一就是根据运营人员的报表需求，编写sql，从hive中获得数据并写入mysql中存储。最后，前端人员写相应的代码展现mysql中存储的报表数据。 随着公司业务的快速发展，如此长周期的报表开发流程已经很难跟上运营人员的分析需求了。为了避免深陷报表开发、维护的泥潭，数据组决定调研大数据场景下的OLAP分析工具。参考了明略数据的解决方案之后，我们选择整合Kylin，Mondrian，Saiku来实现这样一个OLAP系统。 三巨头…
Read More