腾讯云 李丛:CDN分布式架构演进
0 / 0
继续观看
腾讯云 李丛:CDN分布式架构演进
9月16日,Distributed Cloud|2021全球分布式云大会·上海站隆重召开。在全球分布式云大会不懈布道下,云计算行业对分布式云的关注度愈发高涨,以全球分布式云联盟成员为代表,涌现出了大量分布式云技术和实践成果,为分布式云计算发展夯实了基础。
2021全球分布式云大会为分布式云计算发展再添强大推力,本次大会共设有分布式云主题报告会、边缘云论坛、云原生专题论坛、分布式数据库论坛四大论坛,围绕分布式云、边缘算力、云原生、分布式架构等技术与实践展开。全球分布式云联盟联合阿里云、腾讯云、Google Cloud、中兴通讯、京东云、安迈云、网心科技等国内外分布式云顶尖技术服务商,共话分布式云创新新趋势,共谋云计算变革新未来,共享分布式云计算新红利!
在9月16日上午召开的分布式云主题报告会上,腾讯云副总经理 李丛发表了题为《CDN分布式架构演进》的精彩演讲。
调度是分布式架构的核心问题
Distributed Cloud
无论CDN、边缘云或分布式云,最核心的问题都是如何做好调度。李丛介绍了腾讯内部的调度技术,一类是流量型的调度,另一类是资源编排的调度。调度问题,映射到实际的CDN场景,核心诉求是如何找到最快路径。而编排技术,是将各种网络服务单元进行有序的安排和组织,使网络各个组成部分平衡协调;映射到CDN里,就是在解耦的情况下,为业务场景找到一个合适的节点,对它的带宽、算力、存储分配合适的空间。
面对如此多的需求,如何从全球数千个分布式节点找到匹配方案,使资源利用率最大程度的提升?这是腾讯云CDN投入大量精力并持续优化的事情。
流量调度解决最核心的问题就是如何让速度最快。但物理的最近距离并不代表网络距离,用户需要的不是距离最近的机房,而是访问最快的机房,如何准确为用户匹配到最快的机房是另一个重要问题。
为解决这两个问题,腾讯云会综合全球资源访问情况,给到用户访问最快的节点。在这个策略,在内部实践中,初期就实现了10%的提升。
针对不同网络情况,寻找最佳的传输配置策略是网络传输协议优化的本质
Distributed Cloud
李丛提到第二个核心技术是分布式网络技术。无论任何运营,如果要构建在边缘,网络技术就非常关键,所有的算力资源如何互联互通,如何提供整体能力使算力能够串联在一起,都是需要解决的问题。
而在这一方面,腾讯云拥有非常多的技术优化点,比如,动态路由方面,腾讯云系统每年优化2000多万的链路信息,以提供最优的路由选择;另外,传输协议上,腾讯云内部分为“内功”和“外功”,去探索传输的本质,在各种网络环境下根据业务、网络传输情况,找到最合适的策略;除此之外,依赖于全球基础设施节点以及这些设施间的互联,腾讯云还拥有业务上的QOS等的优化场景。
李丛在众多场景中挑选“内功”的部分技术进行了详细讲解。
在传输协议方面,最为本质的就是如何为一个业务匹配到最需要的传输链路需求。其中几个比较核心的问题是:
第一,网络的环境纷繁复杂,无法进行有效预测。李丛举例说,不同的接入网类型,WIFI、4G网络,链路层不一样,挑战点也不一样。在不同的场景下,通过样本训练可以发现,在不同的接入网,最优参数的分布方式也不一样。
第二,运营商不同的限速策略对协议上的传输也有影响,如令牌的限速策略。从服务端看,丢包的信号特别明显,如果是漏斗型,丢包不明显但延迟很明显。
除了上述两个特征之外,还会有非常多的特征,无法预知到底会有多少情况。除了网络特征之外,客户也是一大影响因素,因为每个客户心中的质量标准并不相同。
在标准不一的情况下,怎么做加速算法?为了解决这些问题,腾讯云推出了“千人千面”的方案,为每个“人”配备最适合的策略,给“他”想要的。
李丛介绍说,根据腾讯云的实践,“千人千面”方案,在4G网络下能够获得6-10%的提升。
增强防护能力是面对未来挑战的关键
Distributed Cloud
第三个关键点是安全问题。很多CDN节点会受到大量攻击骚扰,所以在多年前,腾讯云在边缘做了安全防御策略方案,其中最简单的核心思路就是分而治之,腾讯云在边缘上把流量全部打散,达到了更好的防御效果。
提升竞争力,服务全球——腾讯云CDN
Distributed Cloud
目前腾讯云CDN比较常态的稳定的带宽在160T以上,最近的峰值即将突破200个T。目前腾讯云CDN包含国内的CDN和海外CDN,以及全站加速、快直播、安全CDN等产品。
腾讯云海外CDN也已初具规模,在亚洲地区具备了相当的竞争力,下半年腾讯云会继续投入到中东以及拉美区域的完善中去。
关于全站加速,主要是解决四层七层的加速场景,针对不同场景有10-30%的提升,近半年的POC测试来看,腾讯云ECDN的加速性能是非常优异的。快直播的产品,是首个超低延迟的视频类产品,延时从5秒下降到500ms,卡顿下降30%。
面向未来,下一代CDN架构——分布式的操作系统
今年是CDN发展的第20个年头,回顾整个CDN的发展史,对于“下一代的CDN”是什么?李丛发表了他的看法。
李丛认为,CDN的进化,其实是一个典型的边缘应用需求。在未来5G时代下,无论是VR物联网还是无人驾驶,无论是计算还是存储,对边缘要求越来越多。在过去的20年,我们可能完成了带宽从中心到边缘的迁移,未来10-20年,我们要完成的可能就是计算、存储从中心到边缘的迁移任务。
未来,CDN技术的开发能够像开发“单机应用”一样简单。以单机应用这样简单的方式去构建一个分布式的边缘应用。但这将面临两个挑战:
第一,分布式算力不是在一台机器上,它的算力遍布全球各地,有什么方法可以替代这上面的操作系统?第二,在分布式应用上如何构建那么多的开发库?
基于上述思考,李丛认为,未来的架构应该是分布式的操作系统,而这个操作系统有两大核心特征,一是预装能力;二是开放能力。
预装能力,用云原生的能力构建底层操作能力,并预装一些能力,如调度能力、网络加速能力、安全能力、转码媒体服务渲染能力等,腾讯云已经在很多成熟的产品上开始集成这些能力。作为预装的基础库,在上层构建出开发引擎,提供类似单机一样好用的IDE的界面给开发者,开发者就可以在上面构建出他们需要的应用。
开放能力,未来开发者有能力在操作系统上开发自己的APP,开发自己的服务库,这些开发出的服务库也可以为他人所用,来实现开放的效果,使得大家一起去共建整个分布式边缘的能力。
基于上述猜想,李丛预期了一个CDN发展的理想状态:
第一,技术融合,无论是云上的技术还是边缘、虚拟化、分布式存储、调度、缓存、网络传输、运行时、微服务、中间件等技术,都会融合。
第二,产品联动更加紧密,把最大的灵活性给用户和开发者。
第三,生态开放,基于统一的标准和开放的生态,达到人人都是构建者的目标。
最后,李丛总结表示,腾讯云基于对过去技术的总结和对未来技术的畅想和探索,形成了一套次世代的CDN系统,目前这套系统在内部的场景上已经进行了适配使用,在不久的将来随着市场成熟,腾讯云将对外进行产品化建设,将新一代的CDN提供给用户使用。
GDCC