从Kubernetes到“云原生全家桶”,网易如何让业务部署提效280%?

挑战

网易的游戏业务是世界上最大的游戏业务之一,但这并不是网易为中国消费者提供的唯一服务。该公司还经营电子商务、广告、音乐流媒体、在线教育和电子邮件平台。2015年,为这些业务提供基础设施的网易云团队,意识到当时的研发流程已经不能满足业务的发展需求。“我们的用户需要自己准备所有基础设施。”网易云架构师、轻舟微服务技术负责人冯常健说,“我们希望通过基于Serverless的容器服务,为他们提供一套自动化的基础设施和工具。”

解决方案

在考虑建立自己的业务流程解决方案后,网易云决定将其私有云平台建立在Kubernetes上。该团队在2015年Kubernetes 1.0版本发布之前就开始使用Kubernetes,目前可以在单集群中支持30,000个节点,在生产环境集群中曾达到过单集群运行10,000个节点。而且,网易云还使用了CNCF基金会下的PrometheusEnvoyHarborgRPCHelm等项目。

影响

根据网易云团队的数据,Kubernetes使研发效率提高了100%以上,部署效率提高了280%。“在过去,如果我们想进行升级,需要与其他团队甚至其他部门的同事协作。”冯常健说,“我们需要专门的人员来准备一切,之前通常会花费大约半个小时的工作,现在5分钟内就可以完成。”新平台还支持GPU和CPU资源的混合部署,这些改进也提高了资源的利用率。

挑战:
行业:
地点:
云类型:
产品类型:
出版:
March 14, 2019

使用的项目

Envoy
gRPC
Harbor
Helm
Kubernetes
Prometheus

一些数据

研发效率

提高100%

升级时间

从30分钟减少到5分钟

部署效率

提高280%

它的游戏业务是世界上最大的游戏业务之一,但这并不是网易为中国消费者提供的唯一服务。

该公司还经营电子商务、广告、音乐流媒体、在线教育和电子邮件平台。2015年,为这些业务提供基础设施的网易云团队,意识到当时的研发流程已经不能满足业务的发展需求。“我们的用户需要自己准备所有基础设施。”网易云架构师、轻舟微服务技术负责人冯常健说,“我们希望通过基于Serverless的容器服务,为他们提供一套自动化的基础设施和工具。”

在考虑建立自己的业务流程解决方案后,网易云决定将其私有云平台建立在Kubernetes上,诞生于Google的事实让网易云团队相信它可以跟上网易的规模。“经过2到3个月的评估,我们相信它可以满足我们的需求。”冯常健说。

该团队在2015年Kubernetes 1.0版本发布之前就开始使用Kubernetes,因为它相对容易使用,并且在公司启用了DevOps。“我们放弃了Kubernetes的一些概念,仅使用了标准化的框架。”冯常健说,“我们利用Kubernetes的可编程性,以便我们可以构建一个平台来满足内部客户的升级和部署需求。”

最初,网易云聚焦于构建容器平台来更好地管理资源,后续通过添加监控等工具,开始致力于提升对微服务架构的支持,这意味着网易云又集成了PrometheusEnvoyHarborgRPCHelm等CNCF项目。据冯常健介绍:“我们正在努力提供一个简单和标准的流程,以使得我们的用户可以利用我们的最佳实践”。

并且这个团队也在继续做出改进,比如电商业务需要混合部署,在过去这需要使用2套独立的平台:基础设施平台和Kubernetes平台。最近,网易云在此基础上研发了一套跨平台的应用,实现2个平台的一站式部署。

“该系统可以在一个集群中支持30,000个节点。在生产环境中,曾达到过单个集群10,000个节点的数据。内部大部分互联网业务正在使用该系统进行开发、测试和生产。”

— 曾宇星,网易云架构师

目前,该系统“可以在一个集群中支持30,000个节点。”网易云架构师曾宇星说,“在生产环境中,曾达到过单个集群10,000个节点的数据。内部大部分互联网业务正在使用该系统进行开发、测试和生产。”

根据网易云团队的数据,Kubernetes使研发效率提高了100%以上,部署效率提高了280%。“在过去,如果我们想进行升级,需要与其他团队甚至其他部门的同事协作。”冯常健说,“我们需要专门的人员来准备一切,之前通常会花费大约半个小时的工作,现在5分钟内就可以完成。”新平台还支持GPU和CPU资源的混合部署,这些改进也提高了资源的利用率。

“我们利用Kubernetes的可编程性,以便我们可以构建一个平台来满足内部客户的升级和部署需求。”

— 冯常健,网易云架构师、轻舟微服务技术负责人

基于内部平台的使用经验,网易云开始对外提供基于Kubernetes的云平台和面向微服务的一站式解决方案——轻舟微服务平台。冯常健说:“我们希望将这些内部业务遇到的问题和经验产品化,满足外部客户的需求。”

无论是否使用网易云产品,网易云都鼓励其他公司尝试Kubernetes。“只要公司拥有一支成熟的团队和足够的开发者,我认为Kubernetes是一种非常好的技术,可以帮助到企业。”网易云Kubernetes开发者李岚清说。

作为最终用户和云服务提供商,网易云在社区中也非常活跃,积极学习其它公司的经验,并分享其实践案例。网易云团队也一直在参与Harbor和Envoy项目的社区贡献,基于网易的规模体量提供测试反馈。冯常健说:“我们是一个专注于面向微服务解决方案的团队,通过与社区的合作,我们可以获得经验并从中受益,我们可以看到社区的关注点和面临的挑战,并参与其中。”