vlambda博客
学习文章列表

在广告系统中，用户兴趣建模是非常重要的模块。对用户兴趣建模越全面、兴趣理解越深入，对广告点击率的预估也会越准确，也越能精准触达目标用户。

近日，智能营销平台的混合兴趣网络跨领域点击率预估论文被业界顶会 ACM CIKM 2020录用(Full Paper)！混合兴趣网络模型（Mixed Interest Network，又名MiNet），通过广告域和自然结果域（比如新闻）的跨领域迁移学习，不仅从广告点击行为建模用户兴趣，也从自然结果点击行为建模用户兴趣，使得对用户刻画和理解更精准，从而大幅提升广告点击率预估准确性。

一、MiNet的由来

图1：MiNet背景思想示意图

通常，用户的广告点击行为较为稀疏，这使得业界主流的基于单领域（single-domain）的广告点击率预估模型难以精准建模用户兴趣，效果受限。

但在实际场景中，广告是和自然结果（如自然搜索结果、自然信息流结果）共同展现的。如果我们能够联合利用这两个域的数据，我们将能够更加全面的理解用户，更加精准建模用户兴趣，这也提供了一种跨领域（cross-domain）广告点击率预估的可能。

利用自然结果数据能够提升广告点击率预估模型效果的原因有：

1）自然结果和广告共享用户信息，通过迁移学习可以得到更丰富的用户表达。

2）用户点击自然结果行为和点击广告行为间存在关联关系，比如某用户点击娱乐新闻后大概率会点击游戏广告（实际关联关系由模型自动学习）。

二、MiNet模型

MiNet是一个跨领域（cross-domain）的广告点击率预估模型。MiNet基于自然结果数据和广告数据，同时建模3种用户兴趣：1）跨领域长期兴趣- 表现为用户profile特征表达通过跨领域数据迁移学习得到，2）自然结果域短期兴趣 - 表现为用户近期点击的自然结果条目，3）广告域短期兴趣 - 表现为用户近期点击的广告条目。

图2: MiNet结构图

技术方案上，MiNet采用了层级化的注意力机制，包括样本级别（item-level）和兴趣级别（interest-level）。MiNet一方面从样本级别提取对当前广告点击率预估最有用的近期点击自然结果条目或点击广告条目，另一方面在兴趣级别动态加权和融合不同类型的用户兴趣。MiNet还通过跨领域数据迁移学习，将用户在自然结果域的兴趣迁移到广告域，得到更加丰富的用户特征表达。综上，MiNet有效实现了跨领域信息迁移和有用信息自动提取功能，多角度精准建模用户兴趣，从而提升了广告点击率预估准确性。

通过离线实验，我们比较了单领域和跨领域点击率预估模型。其中，已知的跨领域点击率预估模型很少，我们通过更改跨领域推荐模型的损失函数，并且在原模型只使用id特征的基础上加入其他属性特征得到。

从上表可以看出，MiNet在两个数据集上取得了最高的AUC和最低的logloss，证明了其有效性。

从上图可以看出，item-levelattention和interest-level attention均能带来AUC收益，且联合应用收益更大。

从上图可以看出，单独考虑跨领域长期兴趣或单领域短期兴趣，在不同数据集上表现差别很大，但是如果像MiNet联合考虑且动态融合，能够带来更好和更棒的效果。

实际业务中，MiNet已经在广告系统点击率预估场景上线，实验结果表明，线上CTR和CPM等指标均得到了显著提升。

论文标题：MiNet: MixedInterest Network for Cross-Domain Click-Through Rate Prediction

发表会议：CIKM 2020（信息与知识管理领域国际顶会）

论文链接：https://arxiv.org/abs/2008.02974

智能营销平台近期相关技术成果：

[1] Deep Spatio-TemporalNeural Networks for Click-Through Rate Prediction

发表会议：KDD 2019（数据挖掘领域国际顶会）

论文链接：https://arxiv.org/abs/1906.03776

[2] RepresentationLearning-Assisted Click-Through Rate Prediction

发表会议：IJCAI 2019（人工智能领域国际顶会）

论文链接：https://arxiv.org/abs/1906.04365

[3] Click-ThroughRate Prediction with the User Memory Network

发表会议：DLP-KDD 2019（KDD 2019深度学习实践workshop）

论文链接：https://arxiv.org/abs/1907.04667