“节约4亿成本”的背后:腾讯成本优化突破奖案例分享

  • A+
所属分类:成本优化
摘要

近年来,随着公司成本量的不断攀升,成本优化重要性日益凸显。2014年,财经线牵头促成腾讯公司级成本优化突破奖,鼓励各业务团队跨部门协作,在确保业务健康发展的前提下,实现成本优化。 成本优化并非一味求俭,而是以投资理念管理成本,更有效地使用资源。,

近年来,随着公司成本量的不断攀升,成本优化重要性日益凸显。2014年,财经线牵头促成腾讯公司级成本优化突破奖,鼓励各业务团队跨部门协作,在确保业务健康发展的前提下,实现成本优化。

成本优化并非一味求俭,而是以投资理念管理成本,更有效地使用资源。俗话说:把钱花在刀刃上。奖项推出后,为保证奖项施行效果,财经线作为主办方,特地成立专项项目组,协同各BG财务管理,与各业务团队进行了紧密的合作。期间共有8个BG、64个部门、881位小伙伴参与其中。通过优化技术架构、改善管理模式等手段的综合运用,2014年公司层面最终达成4亿成本节约的成果。

现摘选2014年度获奖项目——游戏运营成本优化项目作为优秀案例分享,供大家互相学习参考。

游戏运营成本优化项目分享

文/Levyliu

 

“历览前贤国与家,成由勤俭破由奢”

在海量服务的情况下,单价再便宜的资源,也会变得不再便宜。Tony说过,“腾讯的未来会是大数据商、大计算商。‘大’意味着有很多事情可做,有足够的技术空间和想象空间。正因为规模足够大,效率成本将是第一命脉。效率成本不好,量级再大,我们可能就死掉了”。成本作为运营的四大关键因素之一,我们务必充分利用管理能力和技术能力,做好精细化的成本管理

“望闻问切,三省吾身”

近几年随着互娱的业务快速发展,业务收入不断增长,但成本增速明显高于收入增速。“成本收入比”指标呈现持续上升的态势。

通过对服务器周转流程的剖析,发现如下三个较为突出的问题:

1.业务资源需求合理性审核较弱。对需求的背景,业务架构,设备数量和配置合理性关注不够;

2.新增需求设备,绝大部分都是通过新采购的路径获得,内部设备的匹配复用度低;

3.业务名下的空闲和低负载设备回收难度大,周期长,造成可复用设备无法快速回流。这也是业务需求内部复用度低的一个原因。

因此,究其根因,便可对症下药。在明确成本收入比持续增长背后的原因后,针对上述问题的运营成本优化势在必行。

“不积跬步无以至千里,不积小流无以成江海”

互娱由于设备量大,业务数多,业务类型杂,架构差异大,且代理类业务居多;因此除了一些通用流程和通用技术优化方案的整体推行之外,还应该根据不同业务的特点和具体问题,采取“因地制宜”的优化方案,积小流成江海,实现成本优化在各个业务上的切实落地。

互娱成本优化项目的推行基于如下基本原则:

1.在不影响业务运营以及业务发展的前提下,加快业务空闲设备的回收,提高业务服务器利用率。

2.加快资源的交付效率,建立资源供给层面与业务间的良好信任关系。

3.建立资源需求会审制度,提高设备利用率,逐步提高成本意识;同时通过会审,深入了解业务程序瓶颈点,提供合理优化建议。

4.结合财务管理,采用业务成本收入比及业务单用户运营成本指标,建立起对业务长期跟进计划。

5.强调方案,措施,流程的沉淀总结,加强平台系统的建设,为成本优化长期的推行奠定良好基础。

基于上述基本原则,主要从如下四个方面入手:

1.确保业务需求设备交付速率。设备交付速率有保证了,业务才有信心去优化。这也是其他优化方案可实施的先决条件。一方面依赖内部的资源快速流转,另一方面要感谢资源中心的大力支持。

2.管理优化方案。合抱之木,生于毫末;九层之台,起于垒土。先迈出成本优化的第一步,在管理上实施优化。

(1)建立资源会审机制。通过对有设备需求的业务进行例行评估,包括业务架构,新增设备需求的合理性,存量设备使用合理性。通过资源会审,一方面能够协助业务评估得到合理的资源设备需求,另一方面也可以帮助业务识别在基础运营层面的风险。项目期间,互娱共举行了36次资源会审。相比于2014年的设备预算,通过会审减少了约25%的设备需求量。

(2)加快空闲设备回收。为了保证业务上交设备的成功率以及增加必要的风险检测,对设备回收平台进行了重构优化;同时为业务提供了更多的设备不达标率分析维度,为业务决策优化提供帮助。通过互娱各业务的齐力优化及设备快速上交,2014年全年共回收设备38121台次,是2013年回收设备总量的2.5倍。

(3)设备高度内部盘活。最大程度通过内部设备盘活来满足业务需求,严格控制公司的现金流支出。除常规的设备匹配复用外,通过闲置设备的置换和搬迁,建立多业务营销活动设备共享池,通用类机型适配等措施,提高内部设备的复用度

2014年项目启动后,相比于会审后的设备需求量,互娱实现了87%的设备内部盘活,其中有四个月实现了设备的零采购。

3.通用技术方案

在通用技术方面,贴近业务整体的需求。通过虚拟机推广以及数据库多实例技术,提高服务器利用率,达到降低成本的目的。

(1)虚拟化。虚拟机能够将服务器硬件资源按需切割,是成本控制的重要手段。通过前几年的试点,虚拟机已能够稳定支持游戏业务的运行,且虚拟机已成为多数游戏业务的标准机型。通过优化虚拟机自助运营平台体验,为业务提供便捷的虚拟机运维平台,从而能让更多的业务接入虚拟化,得到成本优化的目的。同时,增加了虚拟机本地降配功能,为业务提供了更低成本的缩容方案。这里要感谢架平虚拟化团队的大力协助。

(2)数据库多实例技术。互娱DBA团队提出了更加严格的数据库服务器不达标率统计算法。通过引入GCS DB多实例技术,能大幅的节省出原先的低负载数据库设备。此次的优化的共涉及了61个业务,节省出数据库设备2283台。同时,GCS的数据库高可用机制,在DB故障时,能够做到前端无感知的自动切换。

4.业务专项优化方案

如上文提到,互娱游戏业务类型杂,架构差异大,应该根据不同业务的特点和具体问题,采取“因地制宜”的优化方案。例如,精品手游构建建设容量模型,英雄联盟自动扩缩容技术,七雄争霸大区缩容方案,天天酷跑和QQtalk的单机承载优化等。在此次成本优化项目中,互娱几乎是“全民参与,各展所长”,每个业务都进行了瓶颈的深入分析,优化方案的不断尝试和落地。通过业务的自身专项优化,节省服务器超7000台,效果明显。

综上,互娱业务在成本优化方面迈出了坚实的第一步。通过一个一个业务的梳理,一台一台服务器的评估,积小流,成江海,在运维,开发,财务多方的紧密配合下,最终取得了不错的成效。

(1)通过持续优化,2014年IEG成本收入比近4年首次呈现下降趋势;

(2)相比2014年预算,全年减少申请设备9035台;

(3)服务器不达标率从2014年年初的50%下降到了33%;

(4)优化节省出的设备可直接用于支持2015年设备预算。相比业务原始需求,通过2014年成本优化节省出设备的内部盘活复用,2015年设备预算向公司减少申请约7000台。

“路漫漫其修远兮,吾将上下而求索”

成本优化是一个持续的过程,务必作为常态运营的关键项。而我们才刚起步,2015年在成本优化方面将继续探索。力求通过更多的技术方案助力IEG成本优化,降低业务运维的工作量。例如,尝试docker技术在IEG游戏业务上的应用,为业务提供一种更轻量级的虚拟化方案。还有TSpider数据库云化技术在游戏业务的推广,实现DB数据的水平切分,动态伸缩,降低运营成本和运维复杂度。

(本文转载自第119期《腾讯月刊》)

 

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: