vlambda博客
学习文章列表

通过互联网，玩家可以在网络游戏中“驰骋”，工程师可以远程操作企业系统，学者可以在搜索引擎中查找文献，消费者可以登录电商平台购物，学生可以打开平板上一节在线课程…..不过，在享受互联网的便利之时，总有一个特别让人烦恼的问题：“网速”，困扰着每一个“冲浪”人。

在一些关键时刻，上网速度就是一个令人无比抓狂的问题：网络游戏中组队打“BOSS”-卡得像在“放映PPT”，文献下载-速率只有“几Kb”，购物付费-遭遇“404（页面丢失）”，在线上英语课-只听到声音却看不到老师的口型…..越来越多的人连线到互联网，互联网则越来越拥挤……越来越“慢”……

根据调查，在上网冲浪过程中，30%的用户不能接受超过4秒的等待时间（点击网页链接后需要等待4秒才呈现页面）。互联网服务可以向用户提供丰富多彩的信息资讯，但只要“迟到”就会被用户放弃。网站（或其它服务）的响应速度，成为了客户留驻的前提条件。

随着互联网的体量越来越庞大，信息服务越来越复杂，互联网工程师们的“头”也越来越大。工程师们要保证每时每刻的网速都畅通无阻，已变成一件“不可能完成的任务”。许多的“不确定”因素都会降低网络性能，破坏用户体验：网络容量的瓶颈、设备故障、突发的业务流量、应用软件系统的BUG、人为破坏（黑客攻击）等。其中，网络容量（带宽）的瓶颈是一个最关键的持续影响因素， 对于一个“从服务器到终端”的互联网服务，只要中间的任意环节存在带宽瓶颈，出现数据流拥堵，那就势必造成服务“延迟”、“卡顿”。

对于那些不懂互联网技术的普通用户来说，信息服务的获取变得既方便又高效。然而，其不确定性也同样困扰着用户：一旦关键时刻出现问题，只能望“洋（互联网）”兴叹，束手无策。

1995~1998年间，Tim Berners Lee（万维网创始人）预见到了互联网越来越拥堵的趋势，于是向麻省理工的同事们求助。其中，有一位应用数学教授：Tom Leighton（以研究并行算法和体系结构著称），面对这一挑战，开始成立算法小组，并着手于研究“如何解决分发互联网内容”。而后，算法小组研究出了数学运算方法，可以在大规模的分布式服务器网络中实现内容的智能分发（路由、传递和复制），并于1998年成立Akamai（首家CDN服务商），在1999年成为Yahoo!（当时全球访问量最大的网站之一）的供应商，开启了这一技术的商业化之旅。2000年， Chinacache(蓝汛)获得了中国的CDN试运行牌照，成为CDN领域“吃螃蟹的人”。

在经历了互联网发展的（2001~2002年）低谷期后，2003年Akamai率先提出并采用了“动态网站加速”的方法，之后迎接上了互联网的又一个高速发展期。在2005年CDN进入了高速发展期，不仅许多CDN企业诞生，还形成了CDN联盟。在国内，2005年网宿科技全面进军CDN市场，同年从网宿走出的人才成立了帝联公司。

2005年到2012年，越来越多的CDN企业或CDN网络（企业自建CDN）出现在互联网中，此时的中国CDN市场特别热闹。2006年~2008，淘宝CND诞生；2010年，成立不久的Cloudflare也进军中国市场；2011年，YY语音为其视频业务，搭建了一个独立的分发网络；同年，盛大云、又拍云和七牛云等更多CDN企业出现在了CDN市场中。

2014年开始，云CDN开始发力，淘宝CDN演化成了阿里云CDN，吹响了云计算厂商全面进军CDN市场的号角，到2018年阿里云CDN的市场份额（30.6%）超过了传统CDN厂家的网宿（28.4%）。

近几年，创新型的CDN厂家开始“蹿个儿”：以网心科技、七牛为代表的“业务专注型”CND厂家，在细分领域中崭露头角，提供具有创新力的增值服务。

CDN网络针对互联网应用，提供“网络加速服务”。

从字面意思来看，CDN（Content Delivery Network，内容分发网络）首先是一种“网络”（Network），是为传递某些应用数据而建的专用网络，亦是在现有的Internet（包括移动互联网）中新增加的一层网络架构（称为“Cache层”）。在互联网之中，CDN网络自成一个庞大的网络体系，通过其网络可以直接连接到遍布各地的互联网服务接入点。

利用CDN网络,运营企业可以将信息应用的内容发布到最接近用户的服务点（即互联网服务器）。

在用户访问互联网服务的时候，“边缘”服务就可以将应用内容高效、高质量地推送给用户。这种“就近”服务的方式，可以有效地提高用户访问网站的响应速度，改善用户的上网体验。

将互联网服务部署在用户身边，避免了信息数据在庞大且“深不可测（不稳定、不可靠）”的互联网中，需要穿越漫长的网络路径才能被送达。

它带来的好处主要有两个方面：

CDN“分布服务、边缘接入”的商业模式之所以会获得成功，不仅在于他在网络技术上的质量优势，还在于在经济上的效率优势：

由于“大众用户对互联网服务的访问”基本符合“二八定律（帕累托定律，Pareto Principle ）”，即大多数的互联网访问（80%的访问需求）集中在小部分互联网内容（20%的信息服务）上。所以，对于互联网企业，只要能够在靠近用户的地区缓存20%的热点内容，就能较高效率、较低成本地满足用户需求，改善用户体验。

CDN网络通过对热点内容的分布式部署，不仅缓解源站集中性的流量压力，提升互联网服务的访问速度和质量，还有另一个重要的作用，就是它可以打破多个电信运营商网络之间的带宽瓶颈，实现跨运营商的网络疏通（当源站在A运营商机房内，而访问客户在B运营商网络中，用户在访问源站时的网络质量，容易受限于A/B之间网络带宽、流量策略等的影响。）

针对不同的业务类型，CDN的网络结构和应用功能可能会有很大的差异（规模、层级等），但它们业务加速的技术架构和原理在整体上是一致的。

3.1  CDN网络结构

CDN网络的基本逻辑功能，由3大系统多种类型的功能节点组成：

三大系统包括：业务系统、调度系统、管理系统；

功能节点包括：内容中心节点、区域节点、边缘服务节点、全局内容路由节点、管理平台、业务配置系统等

3.1.1  业务系统

内容中心节点、区域节点和边缘服务节点，是CDN网络的主要业务节点。三者自上而下形成了三级的网络结构，共同组成CDN的业务系统，实现“数据业务”功能。在CDN网络中的数据业务功能，包括对用户访问内容的接入、存储/缓存、处理（数据切片、转码等）和分发。

3.1.2  调度系统

调度系统是CDN网络的核心能力，其作用就是能动态、智能地将合适的互联网服务提供给用户，在用户和服务之间构建起一座稳定（网络质量有保证）、简短（尊崇“就近”原则）、高速（链路带宽满足需要）的“桥梁（数据链路）”。

调度系统包括全局内容路由（RR：Request Routing）功能和本地负载均衡（SLB）。

全局内容路由，即全局负载均衡（GSLB：Global Server Load Balancing），实现对用户服务请求的统一调度，将最合适的边缘服务节点（或区域SLB节点）告知用户并提供相应服务。全局内容路由功能通常集中部署于全局内容路由节点上，作为调度功能的核心节点，可以针对不同用户配置不同的调度策略，并实时检测CDN的网络拓扑和节点负载，从“业务特性”、“网络状态”两个维度实现灵活、智能的全局调度功能。

本地负载均衡，实现CDN网络区域内的调度功能，将适用的服务节点提供给用户。三类主要业务节点（中心/区域/边缘节点），除了部署存放业务内容的缓存服务器之外，通常还都具备SLB功能（本地负载均衡）。 

3.1.3  管理系统

管理系统主要包括网络管理、业务管理和对外接口，通过集中部署管理平台、业务配置系统等来实现。

3.2  CDN的基本业务调度流程

业务调度功能是CDN网络的核心能力，对于不同类型的业务和质量需求，CDN用户及运营者可以选择不同的调度方式来实现网络资源的调配。主流的调度方式包括DNS调度、HTTP调度、RTSP调度等。

DNS调度和HTTP（重定向）调度是最常见的调度方式之一。不同的CDN网络在调度流程的细节方面会有一定差异，但基本原理是一致。两种调度的基本流程如下：

3.2.1  DNS调度

1、客户端本地DNS:用户操作客户端，向本地DNS提交需要访问的网址域名

2、本地DNS上级DNS:当本地DNS无法解析域名时，会逐级向上请求DNS解析

3、本地DNSGSLB：本地DNS获得了GSLB的信息后，会向GSLB请求域名解析

6、客户端缓存服务器：用户向缓存服务器发起业务请求，获得互联网服务

3.2.2  HTTP（重定向）调度

1、客户端本地DNS:用户操作客户端，向本地DNS提交需要访问的网址域名

3、客户端GSLB：用户操作客户端，向GSLB提交需要访问的网址域名

6、客户端缓存服务器：用户向缓存服务器发起业务请求，获得互联网服务

在调度策略中，不仅需要考虑用户的位置，为用户实现“就近”服务，还需要考量CDN网络内部负载情况、流量分配策略、线路资费等因素。在全局负载均衡（GSLB）和区域负载均衡（SLB）中，通过各种负载均衡算法工具，来合理分配和调度CDN内部资源（服务器CPU负荷、服务器内存、磁盘存储、网络带宽等），并实现对外部需求（业务量需求、QOS质量要求等）的最佳匹配。

3.3  CDN的基本内容访问流程

在边缘服务节点上，基于成本和效率的考量，不会缓存全量的业务内容。节点需要通过缓存技术和相应算法，动态地筛选并更新节点上的缓存内容，来提高区域的互联网服务命中率。缓存技术不仅需要考量服务内容的业务特性，还需要掌握系统内部信息，来保证资源分配、服务分布的合理性和可靠性。（注释：业务特性包括访问时间段、访问频率、源内容的更新频率等；系统内部信息包括网络拥塞情况、故障情况、边缘服务的成本等）

如果在用户访问的边缘服务节点（缓存服务器）上，实际并没有用户需要的服务信息，而区域均衡设备依然将它分配给了用户，那么这个服务节点就要逐级向上级服务器请求相关内容，直至追溯到网站的源服务器将内容拉到本地，即访问流程为：

边缘服务节点区域服务节点内容中心节点源站点

3.4  CDN最佳的调度和访问流程

目前，CDN企业主要有4类：创新CDN、云CDN、传统CDN、小CDN厂家。

传统CDN，最先占有市场，其规模大边际成本低，CDN通用性高，并最早建立起了CDN生态集群。运营商CDN，从特性和优势上来看，也属于传统CDN类型， 只不其CDN网络商业化入局较晚。

云CDN作为后起之秀，实现了网络服务和云（计算）服务配套组合，其基建服务能力强（安全、开发服务），成本低，可以自己用，也可以交付别人使用。

创新CDN，擅长于在某些行业垂直领域或技术领域进行深耕，能够提供丰富的增值服务，自身的软件开发能力强，业务灵活性高，服务更平台化。许多创新CDN也可以称为融合CDN，在实际应用中可以“OTT（Over The Top）”其他CDN网络（即租用其它CDN网络资源），专注于自身的业务创新。

在CDN网络生态中，还有一些小CDN玩家，他们通常附属在一些CDN集群中，体量小，无法独立成网，但可以作为CDN节点提供区域的网络服务。

传统CDN最早进入CDN领域，在CDN发展初期具有网络规模和成本领先的优势，传统CDN厂家逐渐组建了各自的CDN站点集群。

2015年前后，云CDN开始入局，提供云服务的互联网厂商（腾讯、金山、阿里等）天生自带业务流量、全国性的网络支持，其CDN网络发展势头逐渐超过传统CDN。2016年云CDN发力，2017年传统CDN开始出现亏损（蓝汛、帝联）。

目前，创新CDN逐渐开始崭露头角（七牛云等）。创新CDN可以利用其它CDN资源进行CDN部署，并提供更高层次的增值服务（图片水印、文件压缩剪裁、网络状态智能检测等）。融合CDN具有OTT其它CDN厂家的特征。

近2年，虽然网络业务依然高速增长，但全国的CDN部署已经鲜有“空白”（在全国范围内，CDN网络的大盲点已经很少），且很少有新的玩家进入CDN领域了，包括第三方小厂家。

从这一态势可以看出：CDN产业（网络通信产业）整体上依然属于资源密集型行业，一旦实现全国市场（地域）的覆盖，CDN产业的发展就陷入了“滞涨”的状态。虽然，新兴互联网业务（例如视频直播、短视频等）依然在高速增长中，但“大面积”的基础建设已经失去了（投资）驱动力，CDN的增速趋于稳定，未来的竞争和发展逐渐成为“老玩家们”的游戏。

6.1  通信网络的相似性

CDN网络“依附”于互联网，并作为互联网的增值型网络，其网络/技术整体架构和互联网、运营商网络都非常相似，只是缺少了一些功能单元（比如和运营商网络相比，没有无线基站），并且网络“体量”小很多。

6.1.1  网络结构的相似性

全国全球覆盖的网络架构，基本都为典型的树状结构，呈现一个从中心向边缘延伸的网络形态。

以国内电信运营商的“IP承载网”来举例，即呈现“核心层（根）” ->“汇接层（干）” ->“接入层（枝）”的三级树状网络架构

CDN网络同样也为三层级的树状结构：内容中心节点->区域节点->边缘服务节点。

6.1.2  网络功能的相似性

运营商网络（移动网络）具有几大功能：无线（基站）、传输（远距离的通信）、核心网（移动性管理、基本电信业务）、数据网（互联网业务）、网管系统、计费系统。

从功能特性来看，运营商网络的功能和CDN的三大系统有着比较明确的对应关系：

6.1.3  商业发展和运营的相似性

虽然，国内的CDN企业和运营商企业，在企业性质、组织结构、项目运作、产品开发等方面有很大差异，但在网络发展和运营的模式上，十分相近。

CDN和运营商企业的发展动力都是“由资本投资驱动”，两者都具有鲜明的通信行业发展特征：

以上两者同属于通信领域的基础设施：CDN网络是运营商网络的增值和补充，运营商网络则是CDN网络的“地基”。

运营商的网络运营服务，（参照ISO-通信领域相关规范的定义）大致可划分为“故障”、“配置”、“计费”、“性能”、“安全”五个大类。仔细对照前文对CDN功能架构的描述，这五类运营工作也是CDN网络核心的运营管理内容。

6.2  驱动力的转型

观察CDN如今的发展趋势：一方面具有超大流量需求的互联网头部企业，都会部署或扩建自己的核心CDN节点数，以控制CDN的成本增长（2020年初，字节跳动开始部署自己的CDN网络）；另一方面，新兴融合CDN入局，提供了个性化的增值服务，软件开发在CDN运营中的比重逐渐加大，面向开发者的“CDN开发运营平台”逐渐有了孕育的场景和基础。

整体来看，和互联网电商的发展规律类似（先满足大众普遍的网购需求，再朝垂直领域深耕），CDN的发展也会遵循先满足大众化的网络应用（上网、游戏、下载、音视频等）需求，再逐步向个性化、专业化、复杂化的应用场景渗透。

可以预见，越来越多的企业也会将他们基于网络的行业应用（非面向公众的互联网应用，如远程办公/会议系统、资产管理系统等）放置于CDN之中，以满足专业应用对网络性能的个性化要求。

传统通信网络的发展方向，和CDN网络是趋同的：5G网络发展的其中一个方向（即“5G ToB（To Business，即面向企业用户）”），正是为了联通各行业的信息系统而设计的。

意欲数字化转型的传统行业，具有强烈的数字化资产的管理需求和“海量信息流”的运营需求，他们对信息处理（包括网络）的质量要求又完全不同于公众对网络应用的需求。为了满足传统行业的创新需要，与5G相关的许多概念和技术被广泛推崇：

总之，不论是CDN还是传统通信网络，它们起初作为服务公众的信息化基础设施，在实现了（公众）市场的全覆盖后，自然会向非公众领域的行业进行衍生。然而，新的领域并不是一个“需求统一”、“能够标准化部署”的市场，所以网络发展的驱动力也逐渐发生了转型，即由“技术标准先行、投资驱动”的发展模式，走向“平台生态先行，需求驱动”。

6.3  面向创新的网络运营

驱动力的转变，使得网络不仅需要满足“连接”的需求，还需要满足“开发（创新）”的需求，这对于传统通信领域的运营商企业来说并不是容易的事情。

在CDN的发展历史中，可以发现“投资驱动型”的CDN企业（传统CDN企业、云CDN），其商业模式都是通过海量的资源投入和网络布局，来获得市场竞争力和商业利润。他们的网络规模越大，竞争力越强，越追求稳定和规范。在这种追求规模的发展模式下，对于网络的增值开发和个性订制，与“小而美”的创新CDN企业相比较，传统/云CDN企业往往缺乏灵活性和敏捷性，在垂直领域的拓展驱动力也略显不足。

通信网络发展到现阶段，传统市场已经饱和，“通信流量”的增长不再依赖于网络覆盖的扩张和纯粹的资源投入，而是需要转型为一个“为创新而服务”的网络：既需要能够融合传统行业技术，助力于行业系统的开发，又需要具备数字化运营管理能力，支持产品的迭代。整个通信行业的进一步发展，需要形成一个能支撑创新的产业生态，并支持一些企业在商业模式和组织形式上“破茧”而出，这些企业可以是传统企业转型，也可以是创新企业孵化。

对于企业和组织，面对复杂的行业数字化转型需求，其根本无法通过“简单地堆砌”各种新兴的技术和概念，并固守传统的通信产品形态和运营模式，来实现灵活、订制的网络服务。要在传统产业中精耕细作，赚取产业转型升级的溢价，就需要通信企业和组织率先实现转型（或局部转型），调整企业发展的策略，重新设计网络运营的模式，以“创新驱动”为目标，对组织内部的人才流、资金流、数据流进行重新规划，形成通信行业新的良性循环（简单来说就是形成以创新、服务为核心的“投资-创新-服务-盈利”商业循环）。