从Kubernetes到“云原生全家桶”,网易如何让业务部署提效280%?

挑战

网易的游戏业务是世界上最大的游戏业务之一,但这并不是网易为中国消费者提供的唯一服务。该公司还经营电子商务、广告、音乐流媒体、在线教育和电子邮件平台。2015年,为这些业务提供基础设施的网易云团队,意识到当时的研发流程已经不能满足业务的发展需求。“我们的用户需要自己准备所有基础设施。”网易云架构师、轻舟微服务技术负责人冯常健说,“我们希望通过基于Serverless的容器服务,为他们提供一套自动化的基础设施和工具。”

解决方案

在考虑建立自己的业务流程解决方案后,网易云决定将其私有云平台建立在Kubernetes上。该团队在2015年Kubernetes 1.0版本发布之前就开始使用Kubernetes,目前可以在单集群中支持30,000个节点,在生产环境集群中曾达到过单集群运行10,000个节点。而且,网易云还使用了CNCF基金会下的PrometheusEnvoyHarborgRPCHelm等项目。

影响

根据网易云团队的数据,Kubernetes使研发效率提高了100%以上,部署效率提高了280%。“在过去,如果我们想进行升级,需要与其他团队甚至其他部门的同事协作。”冯常健说,“我们需要专门的人员来准备一切,之前通常会花费大约半个小时的工作,现在5分钟内就可以完成。”新平台还支持GPU和CPU资源的混合部署,这些改进也提高了资源的利用率。

挑战: 扩展 , 效率 , 速度

行业: 互联网技术

地点: 中国

云类型: 私有

产品类型: 安装程序

出版: March 14, 2019

使用的项目
Envoy
gRPC
Harbor
Helm
Kubernetes
Prometheus
Stay informed

Get the latest news from our community of doers. Subscribe to the CNCF newsletter.

See footer for our privacy policy.

一些数据…

研发效率

提高100%

升级时间

从30分钟减少到5分钟

部署效率

提高280%

它的游戏业务是世界上最大的游戏业务之一,但这并不是网易为中国消费者提供的唯一服务。

该公司还经营电子商务、广告、音乐流媒体、在线教育和电子邮件平台。2015年,为这些业务提供基础设施的网易云团队,意识到当时的研发流程已经不能满足业务的发展需求。“我们的用户需要自己准备所有基础设施。”网易云架构师、轻舟微服务技术负责人冯常健说,“我们希望通过基于Serverless的容器服务,为他们提供一套自动化的基础设施和工具。”

在考虑建立自己的业务流程解决方案后,网易云决定将其私有云平台建立在Kubernetes上,诞生于Google的事实让网易云团队相信它可以跟上网易的规模。“经过2到3个月的评估,我们相信它可以满足我们的需求。”冯常健说。

该团队在2015年Kubernetes 1.0版本发布之前就开始使用Kubernetes,因为它相对容易使用,并且在公司启用了DevOps。“我们放弃了Kubernetes的一些概念,仅使用了标准化的框架。”冯常健说,“我们利用Kubernetes的可编程性,以便我们可以构建一个平台来满足内部客户的升级和部署需求。”

最初,网易云聚焦于构建容器平台来更好地管理资源,后续通过添加监控等工具,开始致力于提升对微服务架构的支持,这意味着网易云又集成了PrometheusEnvoyHarborgRPCHelm等CNCF项目。据冯常健介绍:“我们正在努力提供一个简单和标准的流程,以使得我们的用户可以利用我们的最佳实践”。

并且这个团队也在继续做出改进,比如电商业务需要混合部署,在过去这需要使用2套独立的平台:基础设施平台和Kubernetes平台。最近,网易云在此基础上研发了一套跨平台的应用,实现2个平台的一站式部署。

“该系统可以在一个集群中支持30,000个节点。在生产环境中,曾达到过单个集群10,000个节点的数据。内部大部分互联网业务正在使用该系统进行开发、测试和生产。”

— 曾宇星,网易云架构师

目前,该系统“可以在一个集群中支持30,000个节点。”网易云架构师曾宇星说,“在生产环境中,曾达到过单个集群10,000个节点的数据。内部大部分互联网业务正在使用该系统进行开发、测试和生产。”

根据网易云团队的数据,Kubernetes使研发效率提高了100%以上,部署效率提高了280%。“在过去,如果我们想进行升级,需要与其他团队甚至其他部门的同事协作。”冯常健说,“我们需要专门的人员来准备一切,之前通常会花费大约半个小时的工作,现在5分钟内就可以完成。”新平台还支持GPU和CPU资源的混合部署,这些改进也提高了资源的利用率。

“我们利用Kubernetes的可编程性,以便我们可以构建一个平台来满足内部客户的升级和部署需求。”

— 冯常健,网易云架构师、轻舟微服务技术负责人

基于内部平台的使用经验,网易云开始对外提供基于Kubernetes的云平台和面向微服务的一站式解决方案——轻舟微服务平台。冯常健说:“我们希望将这些内部业务遇到的问题和经验产品化,满足外部客户的需求。”

无论是否使用网易云产品,网易云都鼓励其他公司尝试Kubernetes。“只要公司拥有一支成熟的团队和足够的开发者,我认为Kubernetes是一种非常好的技术,可以帮助到企业。”网易云Kubernetes开发者李岚清说。

作为最终用户和云服务提供商,网易云在社区中也非常活跃,积极学习其它公司的经验,并分享其实践案例。网易云团队也一直在参与Harbor和Envoy项目的社区贡献,基于网易的规模体量提供测试反馈。冯常健说:“我们是一个专注于面向微服务解决方案的团队,通过与社区的合作,我们可以获得经验并从中受益,我们可以看到社区的关注点和面临的挑战,并参与其中。”

Join the CNCF end user community and accelerate your cloud native technology adoption in close collaboration with peers, project maintainers and CNCF.