爱奇艺内容中台之Serverless应用与实践

vlambda
2022-02-12

爱奇艺内容中台之Serverless应用与实践

本文从内容中台角度出发，以图片生产服务为切入点，结合对Serverless的理解，讨论其应用场景落地与实践。

什么是Serverless

Serverless，顾名思义，就是无服务器，是一种按需提供后端服务的方法。Serverless提供程序允许用户编写和部署代码，而不必关心底层基础结构。尽管称为无服务器，但仍使用物理服务器，只是开发人员无需了解它们。总结下来，评判一个服务是否是Serverless的，最关键的一点是是否需要关心服务器。下面我们举个例子找找感觉。

比如CDN，我们把静态资源发布到 CDN 之后，就不需要关心 CDN 有多少个节点、节点如何分布，也不需要关心它如何做负载均衡、如何实现网络加速。那它就是一个Serverless的服务。

我们似乎对Serverless找到了一些感觉，FaaS，BaaS又是什么？他们和Serverless有什么关系呢？

FaaS（Function as a service），函数即服务。FaaS显然是Serverless的，但不能狭隘地认为Serverless=FaaS。举个经典的例子，我们写一段hello world代码并部署到FaaS平台，不依赖任何后端服务。这种自嗨式的服务就是FaaS本尊。

BaaS（Backend as a service），后端即服务，代表了一些后端的云服务，比如云数据库、对象存储、消息队列等。我们在使用他们的时候，不需要关心他们是如何部署的，能抗住多大的并发。因此BaaS也是Serverless的实际的业务开发中，我们很少遇到单纯的FaaS应用场景，通常需要依赖一些后端的服务，比如日志服务、数据库、缓存、存储等等。因此从技术角度讲，Serverless=FaaS+BaaS。

内容中台为什么使用Serverless

开发人员的基本诉求

节约服务器资源，实现降本增效。
快速迭代、极速部署，作为服务开发者，都希望可以把精力放到业务之上，减少CI/CD的投入。
HA、动态扩缩容，现在是微服务开发，服务拆分得越来越多，越来越细，如果每个服务都考虑HA、扩容的问题，意味着投入更多精力。

内容中台属性

从内容中台角度讲，通用服务可以更好地服务于业务，这也是中台的战略方向。通用服务建设的好坏，直接影响中台建设质量。图片生产服务目前在爱奇艺服务100多个业务方，因此服务的稳定性、HA、动态伸缩能力至关重要。这种前提下，减少定制化开发、部署，就能节约不少工作量。

图片生产服务属性

图片生产的特点使得服务的拆分粒度更细，除了微服务之外，还需要提供上面提到的自嗨式FaaS服务，比如图片的裁剪、缩放、打水印、生成二维码服务。服务多且杂，亟需降低对服务的各种成本。

因此对内容中台来讲，这种细粒度的服务越多，使用Serverless带来的收益就越大。

图片生产应用案例

自嗨型FaaS

这种服务只提供图片处理的相关操作，主要服务于内部编辑，目的是提供同步的图片制作工具。例如图片合成、裁剪缩放、二维码生成、视频抽帧等等，目前总共提供了12+FaaS服务，应用于20+个业务场景。这些FaaS服务为编辑的线上工作提供了方便，将编辑线下的制作（如使用PS）迁移到线上。

爱奇艺内容中台之Serverless应用与实践

对于图片生产开发人员来说，Serverless可以说最大程度降低了其工作成本，开发人员只需把精力专注在图片的生产逻辑上面，之后只需简单填写一些服务名称、资源配额、扩缩容策略，即可完成服务的部署。

此外，Serverless为我们提供了一种更加精细化拆分服务及功能再组合的理念，此前我们为了部署方便，将这些图片处理服务打包在一起部署一个大服务，每个子服务的变更都需要一次完整的部署，并且在资源控制方面也无法做到精细化，毕竟每种图片FaaS服务对资源的消耗还是不同的。

爱奇艺内容中台之Serverless应用与实践

同步FaaS+BaaS

在自嗨型FaaS的基础上，增加了BaaS服务的依赖。例如图片同步生产服务，这个服务将处理完的图片，上传至云存储，并调用第三方API分发至CDN。分发至CDN的图片，需要统一规格（格式、质量因子等）进行处理，以减少带宽使用，提升端加载图片的速度。服务虽然经过了三个步骤，但总体还算轻量，非常适合CMS图片上传这种需要快速生产的应用场景。

爱奇艺内容中台之Serverless应用与实践

异步事件驱动

前两种应用，依赖使用方的调用。但有些业务场景可能会带来不便，比如有很多用户上传图片的场景。按照传统流程来看，业务除了将图片上传至云存储，还需要额外触发一次生产任务。如下图：

爱奇艺内容中台之Serverless应用与实践

可以看到，上传与生产严重脱节，虽然这样可以走得通，但图片生产与业务方耦合过于紧密。Serverless出现之后，其经典的事件驱动模型，给应用的形态提供了丰富的可能性。图片服务除了业务主动的同步http、异步消息触发之外，还有很多其他有趣的应用场景。例如上例，可以将业务主动的触发，改为自动的云存储异步事件触发，这样一来业务不需再主动触发图片生产，实现了解耦。其次，虽然Serverless可以不需要考虑资源的动态伸缩情况，但同步的处理能力还是会有上限。这样即使在高并发下，也可能会因为资源过度消耗产生问题。下面是爱奇艺某业务的图片异步事件驱动案例：

爱奇艺内容中台之Serverless应用与实践

当图片上传至云存储后，触发一个异步事件，驱动图片处理函数进行压缩、加水印，然后再进行持久化的“一条龙”服务。图片的处理逻辑完全与业务解耦，业务只需进行云存储的上传，而不必再调用一次进行图片处理。如此也可轻松应对高峰流量，实现削峰填谷。

Serverless工作流

除了上面的例子，爱奇艺还有不少其他图片生产业务。这些业务各有各的生产需求，比如A业务需要经过AI智能识别，B业务需要先从视频中抽图，C业务需要对图片进行增强。难点在于如何用一个抽象的流程，对现有Serverless服务进行复用组合，统一支持不同业务的生产需求。

此前我们使用第三方工作流系统进行流程的编排，驱动生产流程，后来引入了serverless工作流。

爱奇艺内容中台之Serverless应用与实践

现有工作流系统虽然能满足我们的需求，但是存在不少问题。

维护成本极高。为了满足业务运行需求，我们使用了几十台虚机部署工作流实例，无论是扩容或是虚机下线，都给我们带来了极大的维护工作量。
资源部署复杂。为了避免业务之间相互影响，无论是工作流实例或依赖的中间件，都需要划分生产线，进行资源的隔离。
与业务系统耦合。在工作流与业务系统解耦方面，虽然我们做了不少工作，但还是无法做到100%，还是时常会产生修改工作流代码满足业务需求。
配置复杂。对流程编排的配置，需要大篇幅的配置文件才能完成，且学习成本高。

基于以上问题，我们引入了Serverless工作流，替代传统工作流系统进行流程的编排。下面以动图的生产为例，做进一步说明。

可以看到这个相对复杂的流程，不需要外部工作流引擎驱动，全部依靠Serverless事件驱动自动触发。开始通过输入的参数进行分支选择判断，当输入分别是原始视频、mp4片段、动图时，选择不同的函数进行处理。随后通过串行及并行的图片处理函数，完成动图的生产。

工作流下沉到云端之后，业务开发完全不需要关心工作流的维护、部署、耦合等，且配置也可以做到灵活、简单。

维护成本低。不再需要考虑虚机扩容下线等问题，对虚机的维护成本降低为零。
部署架构简单。无需关心依赖中间件，生产线等资源隔离问题。并且资源利用率提升将近60%。
完全解耦。只需专注于业务逻辑，不再需要维护工作流系统代码。
配置灵活简单。配置这样一个流程，仅需不到100行配置文件，配置工作量节省了90%。

总结与展望

总结几个关键词，解耦、异步、工作流、函数拆分及再组合。

图片生产服务后续会进一步推动Serverless的落地。在事件驱动方面，将与云存储深度合作，替代传统HTTP或消息触发，全面推广云存储变更事件的触发，实现图片生产与业务的全解耦。在工作流方面，目前对于Serverless工作流的使用还没有大面积铺开，绝大多数业务的图片生产还是依赖工作流系统，后续会加大落地力度，最终覆盖爱奇艺全业务的图片生产。

内容中台目前对于Serverless的应用仍处于初步阶段，无论是业务场景的覆盖度，还是数据规模都还不高。但通过上述实际的应用案例，可以看到我们在图片生产服务上，已经进行了比较全面的探索及实验，后续会在更多中台服务上实现落地。

vlambda博客
学习文章列表