阿里 B2B:融合 Matching 与 Ranking 的个性化 CTR 预估模型

2ca178162658455fb301bd53ff2ff35a-image.png

文章作者:阿里 B2B 算法团队
内容来源:牛技
出品平台:DataFun

背景

以电商场景优化用户点击为例,推荐系统的任务是从海量的候选商品中选出用户最感兴趣且最可能点击的商品。为了提升检索的效率,通常分为两阶段来检索。召回/候选生成(Matching/Candidate Generation)阶段根据 U2I 相关性从整个候选集中筛选出少量的候选商品(比如 1000 个),常用协同过滤方法。排序(Ranking)阶段根据排序模型预估这小部分候选商品的 CTR,排序后展示给用户。

推荐系统中 CTR 预估的重要性不言而喻,其中个性化是提升 CTR 模型效果的关键。本文介绍一种全新的排序模型,主要的思想是融合 Match 中的协同过滤思想,在 Rank 模型中表征 U2I 的相关性,从而提升模型的个性化能力,并取得不俗的效果。

搜索场景中用户通过输入搜索词显式地表达用户的意图,而推荐场景中没有这种显式获取用户意图的方式。用户的意图往往隐藏在用户行为序列中,可以说用户行为序列就是推荐中的 query。因此,对用户行为序列进行建模来抽取其中的用户意图就非常重要。DIN[1]以及 DIEN[2]等后续工作关注用户兴趣的表征以提升模型效果,而我们的工作在此基础上又往前走了一步,关注 U2I 相关性的表征。U2I 相关性可以直接衡量用户对目标商品的偏好强度。可以理解成从用户特征(用户兴趣表征)到 U2I 交叉特征(U2I 相关性表征)的升级。

表征 U2I 相关性很容易想到召回中的协同过滤(CF)。I2I CF 是工业界最常见的方法,预计算 I2I 的相似度,然后根据用户的行为和 I2I 相似度间接得到 U2I 相关性。因子分解(factorization)的方法更加直接,通过用户表征和商品表征的内积直接得到 U2I 相关性,这里暂且称这种方法为 U2I CF。最近有一些深度学习的方法进入到相关领域:比如 I2I CF 中有 NAIS[7],用 attention 机制区分用户行为的重要性,和 DIN[1]的做法相似;U2I CF 中有 DNN4YouTube[3],把召回建模成大规模多分类问题,也就是常说的 DeepMatch。DeepMatch 可以看做 factorization 技术的非线性泛化。我们根据协同过滤中的 U2I CF 和 I2I CF 分别构建了两个子网络来表征 U2I 相关性。

模型介绍

DMR(Deep Match to Rank)模型的网络结构如图所示。仅仅依靠 MLP 隐式的特征交叉很难捕捉到 U2I 的相关性。对于输入到 MLP 中的 U2I 交叉特征,除了手工构建的 U2I 交叉特征,我们通过 User-to-Item 子网络和 Item-to-Item 子网络来表征 U2I 相关性,进一步提升模型的表达能力。

User-to-Item 网络

受 factorization 方法的启发,我们用 user representation 和 item representation 的内积来表征 U2I 相关性,这可以看做是一种显式的特征交叉。user representation 根据用户行为特征得到,一种简单的方法是做 average pooling,即把每个行为特征看得同等重要。我们考虑到行为时间等 context 特征对行为重要性的区分度,采用 attention 机制,以位置编码(positional encoding,参考 Transformer[4])等 context 特征作为 query 去适应性地学习每个行为的权重。其中位置编码行为序列按时间顺序排列后的编号,表达行为时间的远近。公式如下:

f7f20a6f4ab1462cbbcb550fde6c36ad-image.png

e94167018cc642c4ade138ed39d98854-image.png

03c7ffc549d54765b8e8cc11fe412a19-image.png



dba6426f6bed46fb8bc6d8b57d13afaa-image.png

afeec4e9fffa4b5ebe0990f212c4aa4d-image.png

Item-to-Item 网络

User-to-Item 网络通过内积直接表征 U2I 相关性,而 Item-to-Item 网络通过计算 I2I 相似度间接表征 U2I 相关性。回忆一下 DIN[1]等模型中的 target attention,即以目标商品为 query 对用户行为序列做 attention,区分出行为的重要程度。我们可以把它理解成一个 I2I 的相似度计算,和目标商品更相似的用户行为商品获得更高的权重,从而主导 pooling 后的特征向量。基于这样的理解,我们将所有的权重(softmax 归一化之前)求和就得到了另一种 U2I 相关性表达。公式如下:

Item-to-Item 网络使用 additive attention[5]形式计算,区别于 User-to-Item 的内积形式,可以让增强表征能力。

除了 U2I 相关性表征,Item-to-Item 网络也将 target attention 后的用户表征输入到 MLP 中。DMR 如果没有 U2I 相关性表征以及 positional encoding,则和 DIN[1]模型基本相同。

实验

我们在阿里妈妈的公开数据集,以及 1688 为你推荐的生产数据集上做了一系列实验,验证模型整体的效果并且探索某个模块对模型的影响。

离线实验

线上实验

我们在 1688 为你推荐上线 DMR 模型,对比模型是 DIN[1](我们上一个版本的 CTR 模型),CTR 相对提升 5.5%,DPV 相对提升 12.8%,目前已经全量。

成果和展望

最初产生融合 Matching 和 Ranking 的想法是在 4 月份的时候,通过实验不断完善,在 8 月份拿到不错的线上效果,9 月份论文投稿(Deep Match to Rank Model for Personalized Click-Through Rate Prediction),11 月被 AAAI-20 录用(Oral)。背后是点滴的积累和团队的帮助。

DMR 提供了一个 Matching 和 Ranking 联合训练的框架,U2I 相关性表征的模块可以很容易嵌到现有的 CTR 模型中,相当于在你原来的模型上加了一些有效的特征。我们后续的 CTR 模型迭代会基于 DMR 的框架不断加入新的改进。

参考资料

[1] Deep Interest Network for Click-Through Rate Prediction - KDD18
[2] Deep Interest Evolution Network for Click-Through Rate Prediction - AAAI19
[3] Deep Neural Networks for YouTube Recommendations - ResSys16
[4] Attention Is All You Need - NIPS17
[5] Neural Machine Translation by Jointly Learning to Align and Translate - ICLR15
[6] Distributed Representations of Words and Phrases and their Compositionality - NIPS13
[7] NAIS - Neural Attentive Item Similarity Model for Recommendation - TKDE18

内推信息

想加入阿里 B2B 算法团队的小伙伴,欢迎投递简历至:

wengchenwei.pt@alibaba-inc.com


本文地址:https://www.6aiq.com/article/1580980167890
本文版权归作者和AIQ共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出