vlambda博客
学习文章列表

淘宝如何拥抱短视频时代?视频推荐算法实战



1. 前言


1.1 迅猛发展的短视频业务


短视频一般指长度在5分钟以内的视频内容。 由于用户时间碎片化、移动互联网和智能手机的快速普及、制作门槛低等原因,短视频最近几年引起广泛关注。 从2011年的萌芽,到2015年快手、美拍等异军突起,到2016年抖音、火山小视频等迅猛发展,短视频正在抢占越来越多的用户注意力和流量,重塑着用户的信息获取习惯。

截止目前,短视频月活用户已经达到了4亿左右,人均日观看时长超过了60min,覆盖用户类型广泛,粘性强,明显挤占了用户在社交、影音、游戏、新闻等应用上的花费的时间。

淘宝如何拥抱短视频时代?视频推荐算法实战

1.2 淘宝短视频现状


目前淘宝内的视频量已达2.6亿+。 大量淘宝/天猫的商品头图展示从静态图片换成了短视频,全方位展示商品的使用方式和细节; 大量买家秀采用了视频形式,给予用户更可靠更直观的购买参考; 直播视频里的大主播,吸粉和带货能力惊人; 达人视频制作精美、形式多样,给用户更愉悦的浏览体验。 视频量和用户需求都急剧增大的现状,对视频推荐算法提出了更高的挑战。

本文主要简述近半年来,在哇哦视频和首页猜你喜欢视频这两个场景上,对视频推荐算法做的一些实践。


淘宝如何拥抱短视频时代?视频推荐算法实战


哇哦视频是针对时尚年轻、购买力中上的用户群的视频产品,涵盖了穿搭、美妆、美食、萌娃、萌宠、数码、健身等领域。 投放内容池由数十万达人视频和数十万商品视频组成,全部经过质量筛选和人审,风格多样,制作精美,期望用户多逛多停留,进而引导下单。

猜你喜欢视频是云主题的重要组成部分,在猜你喜欢瀑布流中会根据用户偏好以一定频次投放视频。 投放内容池主要是数百万商品视频,同样经过质量规则筛选,主要承担引导用户下单的功能。

在以上两个场景的瀑布流里,点击视频都会跳转到全屏承接页,在该页面可以完成浏览相关商品、进入达人页面、点赞、评论、转发、下滑继续浏览等动作。

1.3 视频推荐算法框架


视频推荐算法的大框架与商品推荐基本相似,都是由以下几部分组成:

  1. 召回,即根据用户近期行为,获取几千个左右的候选集。
  2. 排序,一般分初排和精排。 初排即较粗略的排序模型,会对候选集进行初步打分,之后截断成为几百个。 精排即复杂度较高的排序模型,可能是多个不同目标模型的融合,会对候选集进行较精细的打分,之后截断成为一百个左右。
  3. 业务策略,即基于用户体验的一些去重与打散策略。

本文将先介绍视频特征体系,然后按这个框架来分块介绍视频推荐,重点陈述视频推荐不同于商品推荐的部分。

2. 视频特征体系


我们构建的视频特征体系主要由id类特征、商品泛化特征、视频统计类特征、视频内容特征、标签特征等。

  1. id类特征,由视频id、作者id等组成。
  2. 商品泛化特征,主要来自于视频挂载的商品性质。 例如,商品id、类目id、虚拟类目id、店铺id、品牌id、商品所属性别、商品所属购买力、商品标签等等。
  3. 视频统计类特征,即视频在不同场景、类目、作者等维度下,统计的播放率、平均播放时长、有效播放率等等指标。
  4. 视频内容特征,即关键帧图像特征、音频特征,可以对视频内容/风格进行更精细的刻画
  5. 视频标签特征,即基于多分类模型的、可扩展的网状型的标签体系结构,覆盖视频所属的体感类目与泛内容维度的相关标签,这些标签的组合就是对视频内容的浓缩描述。 目前主要产出了服饰领域的标签体系,正在不断完善中。


淘宝如何拥抱短视频时代?视频推荐算法实战


3. 基于视频的召回


3.1 RankI2V Recall


淘宝视频的特点是,绝大多数视频是挂靠有相关商品的。 因此,视频推荐的最初版召回,就是直接利用商品推荐中的i2i召回,扩展为i2i2v召回,即: 以用户最近点击/收藏/购买/加购的商品集作为trigger item set,找到与其相似的candidate item set,再根据视频挂靠商品的关系,找到candidate video set,优先召回热度较高的video。 同理,也可以将c2i扩展为c2i2v,seller2i扩展为seller2i2v等等。 这个版本的优点是可以充分利用已有框架和数据,快速上线。 但缺点也很明显: 同个商品可能挂靠许多视频,无法评估这些视频对于特定用户的价值; 对商品感兴趣不代表对相关视频感兴趣,这其中有很大的gap; 用户对视频的行为信息完全没有加以利用,比如观看时长、点赞、关注等,而这些信息才是最有价值的。

因此,我们实现了RankI2V召回方式,直接从商品来召回视频。 主要思路是: 以全屏承接页播放日志构造sample,以停留时长作为label,结合trigger item、video相关商品、video本身的特征,使用gbdt模型,直接对item到video的关系进行打分。

1)构造样本:

  • 在前述的i2i2v召回的基础上,可以从日志中获取每次用户观看视频时的trigger item、所观看video、以及观看时长
  • 清洗掉异常数据后,以时长很短的观看作为负样本(相当于没有看),时长较长的播放时长作为正样本,实际播放时长作为正样本权重
  • 重采样,保证对于同一个user和同一个trigger item,样本集中同时存在正样本和负样本

2)构造特征集,主要有三部分特征:

  • trigger item的特征,如类目、价格、热度、动态评分等自然属性,以及其在全站的不同时间切片内的曝光点击指标,所属卖家、类目等维度的曝光点击指标等等
  • video的特征,分别统计在全站/哇哦视频场景内的,按类目、发布者、不同时间维度的,曝光、点击、有效播放率、完播率、次均/人均播放时长等指标
  • item与video的相似关系,如是否属于同一类目、是否属于同一卖家,该item与视频相关item的相似分数等等

3)model:

  • 采用gbdt模型,pairwise loss来训练

在两个场景的线上实验中,RankI2V都显著优于初版中的基于商品的召回方式(i2i2v等)。 实验数据如下:

在哇哦视频的瀑布流页上线,次均播放时长上涨接近10%,人均播放时长上涨超过5%,pctr上升超过5%,uctr上升显著,正向效果明显。

在全屏承接页上线,次均播放时长提高显著,人均播放时长提高显著,正向效果较明显(全屏页场景不关注ctr,只关注播放时长)

在猜你喜欢视频上线,ctr上涨接近10%,正向效果明显。

淘宝如何拥抱短视频时代?视频推荐算法实战


3.2 RankV2V Recall


以商品召回视频的优点在于,用户在商品上的行为丰富且多样,可以获取较好的trigger set。 然而,对于视频而言更自然的方式是以视频来召回视频,毕竟用户在商品上的偏好,不一定与对视频的偏好一致。 参考RankI2V的思路,我们也实现了RankV2V召回算法。

首先,为了获取trigger video和召回video的关系,先上线了一版基于全网视频播放日志、目标为有效观看时长的、以协同过滤计算的cf v2v召回模型。 上线一段时间后,积累了足够的播放行为,以此开始训练rankv2v模型。 主要思路是: 以全屏承接页播放日志构造sample,以停留时长作为label,结合trigger video、召回video的特征,使用gbdt模型,对video到video的关系进行打分。

1)构造样本:

  • 在前述的cf v2v召回的基础上,可以从日志中获取每次用户观看视频时的trigger video、所观看video、以及观看时长
  • 清洗掉异常数据后,以时长很短的观看作为负样本(相当于没有看),时长较长的播放时长作为正样本,实际播放时长作为正样本权重
  • 重采样,保证对于同一个user和同一个trigger video,样本集中同时存在正样本和负样本

2)构造特征集,主要有三部分特征:

  • trigger video的特征,分别统计在全站/哇哦视频场景内的,按类目、发布者、不同时间维度的,曝光、点击、有效播放率、完播率、次均/人均播放时长等指标
  • 召回video的特征,与trigger video类似
  • trigger与召回video的相似关系,如是否属于同一类目、是否属于同一卖家等

3)model:

  • 采用gbdt模型,pairwise loss来训练

线上实验中,RankV2V召回结果虽然数量上比RankI2V少一些(原因是用户在视频上的行为远少于在商品上的行为,因此trigger set小得多),但指标上明显优于RankI2V。 随着视频在全网的透出量增加,用户的视频行为进一步丰富,可以预期rankV2V的性能也会随之上升。

在猜你喜欢视频上线,ctr大涨接近15%。 其中单看rankV2V的点击率,比基准桶总体高了接近50%,正向效果显著。

3.3 Realtime-based Interest


相对于商品推荐而言,实时性对于视频推荐更为重要。 尤其是全屏承接页这样的场景,用户一次只沉浸在一个视频中,一旦连续下滑两三个视频都无法抓住用户兴趣,就极易使其流失。 针对这种心理,我们在全屏承接页上引入了以下四种实时trigger:

  1. 在瀑布流中,用户通过点击某视频进入全屏页,该视频强烈地体现了用户此刻的浏览意图,将这个video加入trigger set。
  2. 在瀑布流中点击的视频,同时具有挂靠商品信息。 该商品大概率也是用户此刻感兴趣的商品,将这个item加入trigger set。
  3. 在全屏页下滑浏览进入下一页时,用户对于上一页推荐的视频已经产生过了播放、点赞、评论、关注等行为,可以体现用户当前浏览兴趣,以及对下一页展现结果的期望。 将用户有过正向行为的video加入trigger set。 这是实时性相对最强的一种方式。
  4. 基于实时日志收集用户在全网的视频播放行为(延迟为几十秒到几分钟),将有过正向行为的video加入trigger set。

经实验,最终的召回优先级定为: 四种Realtime-based Interest召回方式相等,同时大于其他召回方式。

在全屏承接页上线,次均观看时长上升超过10%,人均观看时长上升接近15%,正向效果显著。

在哇哦视频瀑布流上线,pctr上升明显,uctr持平,次均停留时长上升明显,人均停留时长上升明显,正向效果明显。

从实验效果来看,沉浸式的全屏页效果显著高于瀑布流页,因为瀑布流一次展现的数量较多,用户选择余地较大,而全屏页一次一个展示,对于时刻命中用户兴趣要求更高。 同时,在4种实时召回方式中,上述第3种召回方式的指标优于其他,说明时效性越强的召回效率越好,与我们最初的假设是一致的。

淘宝如何拥抱短视频时代?视频推荐算法实战


4. 视频排序


4.1 粗排模型


经过多路召回,系统可以获取用户潜在感兴趣的视频集合。 同时为了进一步提高召回的精准性,需要将多路召回的视频统一排序,以精简召回的视频集合。 这一过程通过精简特征的模型在BE多路召回后进行。

视频粗排模型以ctr或停留时长为目标,进行模型训练和预测。 模型为pointwise或pairewise的GBDT。

  • 以ctr为主要优化目标的GBDT模型,将用户对视频是否点击作为标签,pointwise方式训练。 特征主要有上下文特征,用户类特征,视频属性类特征,视频的反馈统计特征等维度。 其中视频反馈统计特征里,通过时间信息计算得到的点击率特征权重较高。
  • 以停留时长为目标的视频粗排模型,将停留时长离散后作为训练为目标,pairewise方式训练,特征中添加更多停留时长类的统计特征。


实验效果


  • 猜你喜欢视频接入ctr的GBDT模型替换ctr的LR模型,ctr提升超过10%
  • 猜你喜欢沉浸页接入停留时长的GBDT模型,PV播放时长提升接近30%,UV播放时长提升超过30%。
  • 哇哦视频全屏页接入停留时长的GBDT模型,次均播放时长提升接近10%,人均播放时长提升明显


4.2 精排模型


精排通过不同目标的模型对视频进行打分。 精排相对粗排在特征上更加丰富完善,同时也将不同目标的同种模型,或同目标的不同模型组合,共同计算得分。

视频精排模型主要包含以ctr为目标的XFTRL与GBDT,以及以停留时长为目标的GBDT三种模型,最终得分综合了三种模型的预测。

  • ctr优化目标的XFTRL模型,特征主要包含上下文维度特征,用户维度,商品维度,视频维度的ID类和离散属性类特征,以及这几种维度的组合交叉特征。 其中,用户ID、视频ID,用户最近x天喜欢的类目IDtop3与视频所对应商品的类目ID进行组合形成的特征,在模型中有较好的效果。
  • 以优化CTR为目标的GBDT模型,特征方面除了在粗排中已有的上下文特征,用户特征,视频属性特征,视频的反馈统计特征外,添加视频在全场景最近x天,分作者/类目的统计特征,同时对视频的反馈统计特征进行更多分天统计的特征补充。 特征集中,场景内视频的ctr类权重较高,可见该模型偏向于推荐本场景内热度较高的视频。
  • 以优化停留时长为目标的GBDT模型,特征相较CTR模型增加了视频停留时长最近x天,分作者/类目的统计特征,label为离散化的停留时长。 特征集中,本场景视频的播放热度、视频作者的平均播放热度在模型中权重较高。


实验效果


  • 猜你喜欢视频,ctr的XFTRL模型进行优化后,ctr提升明显。 接入ranki2v后,提升接近10%,合计提升接近15%;
  • 猜你喜欢视频ctr的GBDT模型优化后,ctr提升明显;
  • 猜你喜欢视频接入停留时长的GBDT模型,停留时长增加超过10%


淘宝如何拥抱短视频时代?视频推荐算法实战


5. 业务策略


推荐系统在算法对点击率与停留时长优化的同时,也需要保证良好的用户体验与流量可调控。

5.1 体验优化


为了达到良好的用户体验,视频推荐做了丰富的体验优化。 同时加入集中度,相似性,以及视频发现性三个维度作为体验优化观测指标,其中集中性与相似性主要衡量页内体验,视频发现性衡量页间体验。

页内rematch: 每次请求在页面内对虚拟类目,叶子类目,视频标签进行rematch,保证页面内不会连续出现同一虚拟类目/叶子类目/标签下的视频。 接入页面rematch后,pv略降,点击率提升,视频集中度和相似性提升明显,用户的观感多样化得到明显提升。

页间抑制: 采集视频实时曝光与点击,将最近x天内未点击的虚拟类目/叶子类目/标签适当过滤。 接入页间抑制后,pv与ctr基本持平,曝光发现性提升,同类视频多天曝光现象减少。

实时黑名单过滤: 针对舆情反馈与自体验较差的视频,作者,标题加入黑名单,在线上实时过滤。 接入后体验提升,相关舆情较少。

购买过滤: 将用户已购商品同类目下的视频过滤。 接入购买过滤后pv与ctr略跌,用户体验多样化得到进一步提升。

曝光过滤: 由于真实曝光收集可能出现几分钟的延时,利用实时数据库记录了伪曝光日志,同时使用真实曝光和伪曝光共同对视频过滤。 接入后ctr略跌,连续的重复曝光现象明显消除。


6. 结语


相对于商品推荐而言,视频推荐算法的发展空间还很大,比如目前尝试中的multi-tag classification,利用图像、音频特征的multimodal video embedding以及RealTime Exploration Interest的模型化。 欢迎有兴趣的同学与我们多多交流、多加指正。

淘宝如何拥抱短视频时代?视频推荐算法实战

阿里云研究中心10+本白皮书全套下载!


数字经济时代,各个行业都面临着巨大的挑战和机遇,如何用新科技来发现和驱动新的商业场景和业务增量。别下方二维码或点击“阅读原文”10+本白皮书全套下载!涵盖人工智能、云计算、大数据等多项领域。


淘宝如何拥抱短视频时代?视频推荐算法实战

淘宝如何拥抱短视频时代?视频推荐算法实战

「 更多干货,更多收获 」




关注机器智能
把握未来可能


戳这里,下载电子书