腾讯计费:亿万级大促活动自动化保障体系

1,182 阅读13分钟
原文链接: mp.weixin.qq.com

9月14-15日,GOPS全球运维大会上海站圆满举行,为期两天的运维盛宴,为各位运维人带来了相互交流和学习的绝佳平台,来自腾讯技术工程事业群(TEG)计费平台部的黄宇给大家带来了「亿万级大促活动自动化保障体系」的主题分享。

我们同步了嘉宾现场沙龙分享视频(内含高清PPT),请点击下方「腾讯技术课小程序」卡片即可查看:

腾讯技术课 点我收看嘉宾现场分享视频 小程序

同时附上整理好的演讲稿:

黄宇,来自腾讯技术事业群的计费平台部,在鹅厂长期从事虚拟支付、多终端支付、账户存储、风控、结算等领域的工作,带领团队负责腾讯千亿级计费大盘的整体运营和质量,目前主要专注于运营自动化、私有云运维、智能监控等相关建设。

腾讯计费是做什么的

腾讯计费平台是产品端到端在线交易平台,其核心是帮助用户与产品安全、便捷的完成支付和收款,在交易过程中帮助产品盈收最大化。平台承载了公司每天数亿收入大盘,为180+个国家(地区)、万级业务代码、100+W结算商户提供支付渠道、营销、账户托管、风控、结算以及推荐等服务。

如果把腾讯比喻为一个饭店,腾讯计费就相当于门口柜台的收费平台,您可以用微信支付、银行卡、苹果支付、QQ钱包、充值卡抵扣券或其他方式支付你在饭店的消费;这里包括了ToC场景,比如用户往自己的QB账户充值,或者在游戏终端购买道具、游戏币;也包括ToB场景,比如广告主、网红主播、腾讯云客户的扣款收费,都是通过腾讯计费这套平台提供服务。

从收入统计来看,目前在账户托管方面,覆盖了绝大部分ToC ToB业务的有价账户的托管,有价账户的规模现在是360+亿的账户体量;实时交易方面,覆盖了90%以上的内部实时交易;结算出账是全覆盖。

大促营销活动 

大促营销活动是腾讯计费对内提供的一个核心服务,公司业务可以在计费平台上设置各种各样的营销活动,比如首次充值赠送、购买满赠、累计赠送、打折、抽奖、团购、砍价等等,支持的营销活动量级每年有几万个(2018年支持活动4.2W个)。

大家可以看到,像王者荣耀、CF、飞车这些头部游戏,或者腾讯视频、QQ会员这些包月VIP等产品都有几千万甚至上亿的活跃用户量级;如果通过活动进行推广宣传,全量用户的触达后,活动收入会呈现爆发式增长。

营销活动很多彩,然而现实很残酷,活动也有出故障的时候。作为负责公司收入大盘的计费平台,在支持业务营销活动中的风险和压力都是非常大的。尤其是在营销活动保障体系构建完善之前,时常会出现服务容量过载、平台扩容效率低、变更影响等平台问题。

那么为什么会出现各种类型的问题,这里分析总结了腾讯计费大促营销活动的几个特点:

1.活动链路很长,比如一个游戏中QB首充值赠送组合礼包的活动,用户一进来,要进行登录校验、大区查询、角色查询、风控检查、活动信息拉取、下单、支付、组合礼包中物品发货等一连串的调用;由于我们是公司支撑型平台,需要对接那么多业务和平台,单是外部接口就是280+个,所以一个不起眼的环节都可能成为大盘容量瓶颈

2.业务大促活动峰值与平时流量都是几十倍的差异,而且业务间的流量此起彼伏。公共平台的资源是有限的,不可能对不同业务每种活动类型不计成本的堆积设备资源。

3.现网变更频繁,前端版本、后端版本发布,系统配置调整、营销活动规则调整等各种变更每天加起来平均350+次,大家都知道,变更带来的故障通常占到了现网故障的75%以上,所以在这么变更频发的平台上进行营销活动资源扩缩容,高一致的精准度是很难保证的。

4.业务不能彻底隔离:计费平台支持了成千上万个业务,不可能为每个业务做一套隔离的环境。业务大促活动期间,是存在相互干扰的,如果控制不当,单个业务的爆发式流量甚至会带来整个大盘的雪崩效应,这又该如何防范。

如何评估大盘的容量瓶颈

说到大盘容量,大家都会想到春节红包或者双十一大促这样的大流量场景,都需要提前压测的方式来评估容量的瓶颈。

压测的方式一般有几种,一种是把服务组合为一个个SET,或者叫一个个桶,就跟生产车间一样,对每个set提前压测好性能,等需要的时候再按set一个个添加到集群中,这种方式适合于比较标准化、模块关系不复杂,大批量的可扩展场景;

第二种方式是根据现网既有规模,按比例缩小规模进行压测,从而估算现网环境的容量,一般测试或者预发布环境就是这么干的。

第三种方式就是模拟用户构造仿真数据,直接对现网大盘进行压测。前面也介绍了,腾讯计费的场景存在链路长、对接广等复杂性,所以采用第三种压测方式。

为了达到尽量仿真的压测效果,不能针对活动入口进行简单的并发重复执行相同用例,这样无法实现接近现网的仿真效果。前面也提到,不同的渠道、不同的业务或者活动模式,交易经过的内外部链路都不同,所以这里很重要的一点就是构建尽量逼真的压测场景。

根据现网平台入库到TDW的历史流水数据,按活动入口、登陆态、业务代码、支付渠道、版本号等信息,构建出百万级的用例组合。

TDW: Tencent  distributed data warehouse 腾讯分布式数据仓库

Cmdb:config manage database 系统及业务配置管理系统

FlowSvr:流量管理系统

深度仿真压测还要模拟用户端从不同区域和网络进行测试,所以在深圳、上海、天津、成都等不同城市的多个机房各地部署了用例分发SVR和agent,将一个大的压测任务分解到不同机房并行发起执行。

如果用少量的号码压测,很容易命中现网的限频拦截或风控策略,而且有些业务场景测试需要提供号码真实的游戏大区、绑定或者好友关系等信息,所以平台构建了十万级的号码资源库,不同测试号码满足不同的场景条件,用于压测过程轮询使用。 

那么压测用例在执行的时候,就会根据测试场景,自动匹配不同的业务资源和号码资源,替换执行。

关于现网压测还有一点值得注意,因为在直接对现网进行全流程压测,所以一定一定是不能压出问题的,一旦压上去的量级过大肯定会造成现网损失,所以压测速率从0提升到指定速率,建议采用匀速爬坡式提升,过程中一旦发现报错、超时可以立即停止压测。

按需动态分配营销活动资源

通过压测知道了大盘的容量,那么为了安全起见,是不是按最大最全的体量囤积资源就好了?

肯定不能这样,如果您是老板的话,也不会同意这样干是吧。大盘中不同业务场景在不同环节和时段的资源消耗是有差异的,在错峰情况下如何最大限度复用资源非常重要。

在这里的自动化扩缩容设计里,现网大盘由服务组成,服务由系统实例组成,而实例承载的基础是腾讯计费自研的TDF程序框架;扩缩容的核心大脑就是TSM自动化管理平台,压测平台周期性压测现网容量,现网内存、负载、时耗、流量等指标也会分钟级采集汇总,这些数据都会汇总到TSM管理平台,这个大脑再根据策略下达扩容、或者缩容的指令。

这里采用KVM虚拟机构建用于自动扩缩容的资源池,共享资源池会在日常扩容中出库消耗,在缩容中退库,这样持续的循环。资源池分成共享资源池和紧急资源池两个部分,紧急资源池一般是不动用的,就像一个国家的战略物质储备一样,只有在共享资源池出现补给不上的紧急情况才使用。

那么具体什么时候启动自动扩容呢,这里主要采用了多级阀值和趋势预判两种策略,所谓分级阀值就是当服务负载突发突破不同档位时,平台设置了不同的扩容比例和力度。趋势预判策略是根据逐步上升的容量指标,对下一时段的容量水平进行提前趋势斜率分析,并预判提前扩容。

具体的快速扩容操作,像TDF框架和相关基础库文件包,在资源标准化的时候就进行预安装,所以这个环节是不算耗时的;APP程序包按服务中的参照子节点进行发布,特别是权限方面,由于涉及的内外部权限非常多,所以也要参照原节点进行克隆。这个执行过程可以做到分钟级控制。

这里的扩容发布依赖的基础是一个全球发布平台,它通过公司级TSC操控通道向国内和海外,包含自建机房和AWS上的资源进行控制,它支持串行、并行不同的发布模式;具有适配广,高可用和可扩展的特点。

如何确保扩缩容变更精准无误

一开始有提到,在日常频繁变更的现网大盘上进行扩缩容操作,故障风险是非常高的,那么怎么确保这里的变更准确性呢?也就是怎么确保扩容上去的资源服务没有问题。

针对这个问题,这里采用了三种检测机制,一是对新节点通过工具demo进行功能探测,第二是将新扩容节点相对于服务原有节点进行横比扫描分析,第三是对实时监控告警信息的自动化关联。

这里要重点说下扫描检查机制,将扩缩容变更和版本变更等等都收拢到一个变更管控平台,这个平台再针对不同的变更场景发起扫描检查和播测验证;扫描检查是基于监控采集的海量数据,进行细粒度同比以及节点间横比,包括成功率、时耗、错误码等对比分析;拨测验证也就是之前有讲到的业务场景拨测;那么管控平台就是将扫描和拨测两方面的结论综合起来,判断这次扩容变更是否准确,并提交给TSM大脑进行决策。

如何防止大盘雪崩风险

以上介绍了自动化决策和自动化扩缩容的机制,那么是不是有了这些自动化机制就万无一失了呢?

自动化也不能100%的信任,如果极端情况,自动化扩容不能有效工作,我们的现网大盘会不会有被大促营销活动冲垮,进而导致雪崩的风险,这种情况一定不允许发生。

所以平台必须要有一个防止业务间相互冲击、避免大盘雪崩的应对措施;计费平台在入口层增加了按渠道、按业务进行并发限频的策略,当容量扩大或者缩小的时候,这个限频策略会相应的动态调整,服务SET间的流量也可以通过TSM大脑进行灵活的分流调度。通过这样的方式来确保大促活动期间大盘不出现雪崩的风险。

小结

腾讯计费大促活动自动化保障体系,也就是按五个思路来构建。

一是大盘容量的压测机制。

二是快速扩缩容机制,以及资源共享管理、变更扫描,和限频保护措施。

 构建之后,自动化保障体系可以浓缩为如下示意图。

压测平台通过周期性压测及时评估大盘容量瓶颈,监控平台也会实时采集相关容量指标;这些信息汇总之后做成一个实时的大屏,就把它放在公司的办公区域,同事都能看到;那么一旦容量指标突变触发了策略,TSM大脑会及时感知,并下发现网扩缩容的控制指令。这就是大致的调度过程。

这套保障体系建成之后,这两年遇到五一、国庆、除夕这样的重大节假日,或者头部业务周年庆之类的大促活动,都能够顺利支持,所以整个平台保持一个比较高的运营可用度。

早几年除夕的时候,为了应对集中爆发的大促活动,我们得安排一二十个人留守,而且有时得现场临时讨论应急方案;现在呢,每到除夕,只需安排两三个同事留守,看看大盘,做做监控,让大盘自动运行,效果还是非常明显的。

当然,我们这套保障体系目前还做到不够完备,尤其是针对海外支付的,或者采用亚马逊AWS之类的非自建机房场景,在自动化方面还需要持续的建设和提升。这是我们下一步继续努力的方向。

希望腾讯计费大促活动场景的自动化解决方案对您的场景有所参考,谢谢大家!