Fork me on GitHub

网易云音乐视频搜索优化之旅

图片

作者:卉芸

1. 业务简介与分析

1.1 业务剖析

谈到搜索,大家日常生活已离不开此功能,例如通用搜索引擎Google百度,购物时的电商搜索,听歌时的音乐app搜索等。在不同的业务场景下,搜索的业务本质与目标也有着很大异同。在电商场景下,搜索本质上是非精准导向的,因为满足用户query意图的商品候选量级极大,个性化的作用极大的被彰显,在query理解、召回及排序的各个环节,个性化都是必不可少的考量因素;此外,用户的query与商品的title存在明显的语义gap,商家多采用属性堆砌的方式来构成标题,导致与用户的表达方式差异较大;最后,算法的优化目标也非常清晰单一,即gmv及成交笔数。

在云音乐搜索业务中,候选资源种类繁多,涵盖艺人、单曲、歌单、视频、播单等多种异构资源,混排面临更多的挑战;同时,对于艺人及歌曲的搜索,更偏向于精准化导向,满足用户意图的候选往往个数较少,对准确性要求极高,但在视频及歌单搜索中,又更具备非精准性,满足用户query的候选多,故结果的个性化与多样性更需要被保障;对于不同的资源类型,算法的优化目标也不尽相同。

视频资源作为一种多模态的资源类型,在音乐搜索中,有着自己的独特性:

(1)内容理解难:视频的标题及描述并不能反应视频的全部内容,视音频模态的信息补充非常关键;描述文本倾向于自然语句,而非结构化的属性标签,长度也长短不均;信息抽取与语义表征难度高,用户query与视频相关性建模更为艰巨。

(2)相关性要求高:当用户搜索单曲无版权时,可能会到视频页查找资源。有些搜索query存在歧义,例如抖音火爆的歌曲“会不会”,仅通过文本词级别的匹配,会得到大量不相关的视频资源,故需要结合用户的真实意图来确保结果的相关性。

(3)时效性强:用户对热点内容需求较大,新热上升视频应该具备更多的曝光流量,例如“蜜雪冰城”搜索结果下,应该将最近较火的日文改编版往前排。搜索结果的时新性对用户的体验至关重要,实时的特征对排序效果影响较大。

(4)优化目标多:视频总体指标如下图所示,其中点击率和有效率,是最基础的优化目标,视频的播放时长占比、点赞率、收藏率、转发率也很重要,它们能更好的激励视频生产者创作,并和视频消费者形成更紧密的互动,利好整个视频生态。

图片

1.2 算法体系

图片

如上图所示,视频搜索的整体算法体系可以分为五大模块:query理解模块、召回&扩召回模块、相关性模块、排序模块及重排策略模块。

数据挖掘提供基础的数据支撑,包括新词发现、同义词挖掘、标签挖掘等,通过离线方式定时更新底层信息库,同时服务于视频理解模块。query理解作为初始环节,包揽了文本归一化、纠错、词权重分析、实体及属性抽取、意图识别等功能,从用户不规则的输入文本中,获取到核心结构化信息,送入后续模块进一步处理。

召回部分可细分为两块,基础的文本搜索引擎和多路扩召回,搜索引擎结合紧密度、热度、tf-idf等特征给出候选粗排分数。扩召回可细分为两大类型:query改写多路及向量召回,前者通过显式的构建同义query召回更多满足语义的视频,具备更好的可解释性和可控性,后者利用模型泛化性隐式的召回相关视频,会带来一些惊喜的结果。相关性模块用于衡量用户query和视频的相关程度,能保障用户的搜索体验,搜索query和视频文案存在天然的语义gap,同一query在不同的场景下存在歧义,如何定义云音乐场景下的相关性并进行语义消歧,十分重要。

排序部分包含特征与模型的构建,基于云音乐自研的snapshot平台,可以便捷的构建无特征穿越的实时样本,进行在线特征抽取及数据落盘,模型经历了单目标到多目标的优化迭代。重排和策略是最后的一环,负责结果的多样性打散及可解释性文案的组装,也支持运营的case干预。

云音乐的视频搜索之前一直处于基础版本阶段,算法层面未经历迭代优化。文本将结合上述重难点,具体从搜索相关性和排序来阐述下优化的方案与成效。召回部分会提供一个简要的技术分享,不作为本文的重点。

2. 相关性

相关性是搜索流程中十分重要的模块,它负责确保搜索出来的结果和搜索query是相关的,“相关”不仅体现在word-level的匹配上,也体现在semantic-level层面,它是一种用户的主观感受,缺乏一个通用的客观标准。在不同业务场景下,搜索相关性的定义是不同的,需要根据具体的业务认知,给出符合用户体验的档位定义。有别于ctr任务,相关性天然缺失样本标签,是否点击不能用于直接衡量query与item的相关性,因为用户的点击行为还会受到活动、位置、新奇等其他因素的影响,因此需要根据相关性准则,进行人工数据的标注,但是深度模型的训练依赖大量的标注样本集,不可能全部由人工来标注。在模型层面,大家熟知的文本匹配领域内的模型,比如representation-based和interaction-based模型,都可以迁移用于query和item的相关性建模,但考虑到线上inference的效率和rt限制,需要在效果和效率上进行折中。如何利用有限的人工标注集,采用弱监督的方式构建一个高效的线上模型,是该任务的挑战所在。

2.1 定义与评估

在云音乐搜索场景下,我们根据音乐领域内关联知识和用户的常见的意图种类,将相关性分拆为以下三个子维度:

  • 文本相关性

    • 指搜索结果中包含搜索query,即term匹配,搜索结果中包含query中的核心词汇
  • 语义相关性

    • 指搜索结果与query语义相关,可以宽泛认为是常识相关,如歌手名和单曲名、专辑名、风格类型、国家语言、节目、平台等相关
    • 例如 “晴天” vs “周杰伦”、“刘德华” vs "四大天王"、“会不会” vs "小乐哥"、“会不会” vs "陈绮贞"、“刘聪” vs "中国有嘻哈"
  • 意图匹配

    • query中包含具体歌曲、艺人、歌单、专辑、歌词等实体意图时,资源中对应意图也该一致
    • 例如:”周杰伦 晴天” vs "视频(xx翻唱 晴天)",这种情况认为是意图不一致,用户想搜的应该是 周杰伦演唱或者出演的晴天

结合以上三个子维度,我们将音乐相关性定义为四个档位,具体为:

  • good档位(最相关档位)

    • term匹配 & 语义相关 & 意图匹配:示例:query(周杰伦 晴天) | 单曲(周杰伦-叶惠美-晴天)、query(周杰伦 晴天) | video(周杰伦演唱会live现场演唱《晴天》
    • 特殊说明:对于艺人,例如 hehe vs 田馥甄,虽然term不匹配,但的确是同一个人,这种case也属于good档位
  • fair-good档位(次相关档位)

    • term不匹配 & 语义相关 & 意图匹配:示例:query(hebe)| 艺人(S.H.E)
    • term不匹配 & 语义相关 & 意图不匹配:示例:query(周杰伦 晴天)| 视频(xx翻唱 晴天)
    • term匹配 & 语义相关 & 意图不匹配:示例:query(晴天)| 视频(xx翻唱 晴天)
  • fair-fair档位(中立档位)

    • term匹配 & 语义不相关 & 意图匹配:示例:query(晴天)| 单曲(我的新鲜女友晴天版)
    • term匹配 & 语义不相关 & 意图不匹配:示例:query(晴天)| 视频([冰菓][朗朗晴天]动漫剪辑)
  • bad档位(完全不相关档位)

    • term不匹配 & 语义不相关:示例:query(晴天)| 歌曲(阿桑-受了点伤-叶子)

有了明确的档位定义后,在用户的历史点击日志中,筛选了万级别的样本进行人工标注,这部分数据可以用来finetune模型,也可以用于评估相关性模型的效果。因为音乐场景下的item分为多种资源类型,在视频标注时,以文本标题作为主要考量因素,视频文本标签作为辅助因素。在真实的档位分布中,fair-fair档位占比较低,在评估模型效果时,将good和fair-good视为1,bad视为0,则可以作为二分类问题来计算auc指标。

2.2 模型选型

相关性的建模在业内存在多种方式,如下图所示,大致可以分为四种类型,基础的文本相关性模型、属性相关性模型、语义相关性模型和行为相关性模型。综合四种不同方式获取的相关性分数,还可以构建一个顶层的综合相关性模块,采用集成的方式,获取最终的相关性分数或档位。图片

文本相关性,在词级别分析query与doc间的相关程度。针对用户输入的query,进行分词,再基于如BM25等算法计算相关性,如紧密度是衡量term之间距离的一种方式。这种方式可以无缝对接搜索引擎,启动快,但是无法解决消歧和语义相似的问题。

属性文本相关性,是将query和doc进一步进行属性的抽取与分析,在同属性维度下判别是否相关,然后综合各维度,得到最终相关性分数。这种方式可解释性强,但是对属性抽取的准确度要求高,同时需要挖掘属性下的同义词表,才能获取更好的语义相关性。

语义相关性,采用深度模型来对语义建模,打破term层面的字面匹配限制,并能一定程度解决消歧问题,具备良好的泛化性。近年来NLP模型的迅猛发展,文本语义建模的方案层出不穷,文本匹配领域内的模型都可以拿来借鉴使用。由于工业界对线上rt有较高的要求,复杂的交互式模型太重,不适合大规模上线使用,同时训练样本集的构建也非易事。

行为相关性,是指通过用户搜索后的点击、有效消费等一系列行为,采用无监督的学习方式,在点击图上进行信息的传递,来挖掘query与doc的相关性。该方式由Yahoo在网页搜索中率先提出[1],算法将query和doc通过词向量传递,将两者变换到同一语义空间中,从而方便得到相关性的相似度计算。点击图的效果鲁棒性强,在头部query和doc上表现较好,但是在长尾数据上表现不佳。

2.3 生效方式及实战

得到query与item的相关性分数或档位后,该如何应用到排序流程中呢。如下图所示,相关性模块除了输出相关分数外,还可以产出query向量、item向量(限于双塔模型),在召回中派上用场。可以用作一路语义向量召回,也可以在query改写的召回阶段用于寻找相似query候选。排序中,语义向量和相关性分数可以拿来作为特征使用。

图片

在云音乐场景下,我们在引擎粗排中融入了紧密度特征,并构建了融合属性维度的语义相关性模型,也尝试了点击图模型的实验,以下做以介绍。

  • 语义相关性模型 - Aspect Relevance Model

训练深度模型需要大量的样本数据集,单个用户的点击与否不能直接当成正负样本,参考电商语义相关性模型[2],我们计算了query和item之间的平均ctr,并划分为高ctr、中ctr和低ctr三个区间。我们认为在同一query下,ctr高的item相关性是要好于低ctr的,因此得到了一个分层次的监督学习数据集。在构建负样本时,我们采用了随机采样的方式获取简单的负样本,同时,也通过正样本中某些NER词汇的替换改写,构建了一批难学的负样本,由此增强模型的区分能力。

图片

线上模型结构如上图所示,为了线上性能的优化,采用基础的双塔结构。底层共享词的embedding,在每个encoder侧,不仅对query/item进行原始文本的信息编码,也对NER抽取的词组信息进行encoding。对于每个维度的语义信息,采用基于CNN的self-attention方式获取深层的语义表征,如果采用多个卷积核,可以得到多组的query或维度文本的向量表示。计算query与item的相关性分数时,采用弱交互的方式,对向量进行求和、求差、拼接三个操作后,送入全连接层,经过max-pooling和sigmoid获取最终的相关性分数。在视频场景下,除文本信息外,还有图像、音频信息,可以将图像向量视为一个语义维度,使用tensor fusion进行向量的外积融合,这种方式对于多模态信息的融合更充分,效果优于直接concat。

在loss的构建上,根据分层的ctr样本定义了一种pointwise的loss形式
image.png

  • 点击图模型 - Click Graph Model

用户的点击日志蕴含着丰富的信息,点击图模型利用二部图的信息传导,从相似的query/item中提取term来丰富当前节点的term表达。我们采用近三月的搜索点击日志,构建了query和item的图,其中item包含多种资源,单曲、艺人、歌单、视频等。针对不同的资源类型,选取不同的元字段信息来做文本的表征,比如视频类型,除了标题信息外,还采用了内容描述标签信息,在分词阶段,接入了云音乐专属的业务词典,避免将歌曲名、艺人名切分错误,同时过滤掉无意义的停用词。节点之间的权重采用了点击率,相比点击次数,点击率更能反应query与item的相关程度。

query和item间的向量迭代沿用了Yahoo文中的计算方式,每次迭代后在人工评测集上计算auc,选取最高auc对应的迭代向量,作为最终的词袋结果。下图给出了一个case结果,“陈奕迅”及两个对应的视频的最终的迭代向量中,包含了相关的歌曲词汇及艺人词,有一定的可解释性。得到词袋向量后,需要⼀个合适的度量⽅法来计算相似度,我们实验了两种⽅式:cosine相似度和kl散度KL(Q||I)。为减少计算量,对词袋向量作了⻓度截断,仅保留top20个词。在同一份人工评测集上,采用kl散度的相关性分数,auc可以达到0.768,效果要好于finetune之前的语义相关性模型。

图片

点击图方法计算简单有效,是一种鲁棒性很强的相关性算法,对于没有点击行为的query和item,Yahoo提出可以将文本拆解为n-grams,学习n-grams的向量表达和权重信息,解决中长尾无表达的问题。因为query侧的词袋向量表达中,会迭代出相关性较强的词汇,我们选出了tag query下的词袋信息进行观察,如下图所示,第二列的词袋词汇中可以挖掘出很多相关词,这部分进行人工审核后,可以补充到同义词典中。

图片

实际使用中,我们将相关性应用到视频排序阶段,最终线上有点率提升1.5%,有效有点率提升2.3%。在视频8.0版本人工测评中,相关性及高质量召回case数量比7.0增加23%。以下给出一个相关性优化的结果展示。图片

3. 召回及排序

图片召回和排序是搜推算法中传统的两个模块。召回需要处理的候选集量级极大,线上响应的时效要求高,因此不能采用复杂结构的模型。排序阶段又可以细分为粗排和精排,在精排阶段,一般只需对上百个item进行打分,为了更准的呈现用户想看的结果,对模型的准确性要求较高,故需要在特征上做更精细化的处理,并采用更复杂的模型来拟合数据分布。

3.1 多路召回

在视频召回中,我们拟定了四大类召回方式:基础文本召回、query改写多路召回、向量召回、个性化召回。在基础的文本召回基础上,为了能召回更多语义相关的候选视频,构建了显式的query改写召回和隐式的向量召回。为了更好地满足用户个性化体验,也单独构建了个性化召回链路。

query改写的流程可细分为召回与判别两部分。在召回环节,可通过语义embedding相近、同session下query挖掘、近义词替换等方式,寻找与query同义或近义的query候选。在判别环节,构建语义相似度模型,衡量两个query是否语义相同,由于改写的数据可以离线生成好供给线上使用,所以复杂的交互式模型如bert,都可以派上用场。业务中标注样本成本较高,今年发表的simCSE[3]和R-drop[4]模型,也非常适合用在工业场景中。

根据建模方式的差异,可将向量召回分为如下图几类。近年来的文献中,向量召回在推荐领域内的进展较多,对user和item的建模方案,可以酌情迁移到query和item上。搜索业务上,Facebook去年的工作EBR[5]和Baidu的Mobius[6]也有很强的借鉴意义,ebr从样本采样到系统层面给出了详细的实践经验与实验分析,mobius结合搜索相关性优化ctr模型。召回的模型一般采用双塔的结构,方便离线生成query和item侧的向量,接入线上的高效向量检索流程。

图片

召回在模型上没有太多花样可玩,传言道,如果说排序是特征的艺术,那么召回就是样本的艺术,特别是负样本的艺术。召回层面的目标就是将与query相关的item召回,不相关的剔除,直接采用ctr的点击与否作为学习样本,显然是不合适的,这是因为召回所面对的百万、千万级的候选item,绝大多数是从未被曝光过的。全局负样本采样也存在一定问题,随机采样的样本过于简单,没有难负样本,模型难只能学习到粗粒度上的item区别,无法感知细微的差异。阿里在去年发表的ESAM[7],尝试用一种新的视角解决Sample Selection Bias问题,将曝光过的样本点击label,迁移学习到未曝光的item域上,可以获取全局的item标签。

搜索中的个性化召回部分,理论上有两种方式可做,一种是使用基于trigger的传统方式进行U2I的召回,接着过一个query的相关性判别;一种是将用户特征融入到深度召回模型中。前者的效率会比后者差,所以我们先计划尝试用户特征的引入,向量召回部分目前仍在优化推进中,在此不作为重点具体展开阐述。

3.2 排序

(1) 排序特征体系

图片

视频精排用到的特征汇总如上,涉及到query维度、视频维度和用户维度。除了静态类的属性特征外,还有T+1的统计类特征,以及基于实时计算平台magina开发的实时特征。时效性对视频排序尤为重要,实时类的特征必不可少,此外,借鉴Youtube在推荐系统中的做法,引入视频example age特征(当前时间-播放该视频的采样日志时间)将新视频和训练视频进行区分,可以进一步缓解新热问题。在视频内容的理解与表征上,我们和行研的图像算法团队合作,提取视频的内容标签,比如艺人信息、风格信息等,用于完善视频信息。为了刻画视频的质量,采用了分辨率、时长和审核状态特征。视频tab页中,单列流模式下,一屏只展示2个视频,用户的点击行为会因为position产生比较大的偏差,为了消除位置偏差的影响,我们也加上了position特征。

定义好特征并实现特征抽取算子后,基于云音乐自研的snapshot实时样本平台,可以便捷的获取线上样本的特征数据,并进行实时样本的落盘,用于模型的实时训练。snapshot平台可以避免特征穿越问题,并保证线下与线上的一致性,为算法效果提供了强有力的保障[8]。

特征处理部分,也有一些技巧可言。对于id类型特征,为了缓解冷门id训练不充分,我们构建了id词典,将出现频次少的id映射到同一编码上。处理连续数值型的统计类特征时,区间分桶受统计值变化影响较大,故采用log软分桶,可以使连续特征离散化,同时受统计值变化影响小。计算率值特征时,如果直接计算点击率,对于统计数据较少的曝光和点击,容易出现高估的问题,需要做统计平滑处理。常见的平滑方式有威尔逊区间法、EM平滑、贝叶斯平滑[9],实践中发现贝叶斯平滑效果最好,离线auc涨了千分之一个点。特征交叉在传统的机器学习中,往往通过人工的方式进行,近年来的深度模型已具备自动特征交叉的功能,能更高效的捕获特征间的关联[10]。

(2) 排序模型:单目标到多目标

图片

视频排序单模型,目标是提升点击率ctr。我们尝试了从无模型(策略分)到deepFM模型的演进,deepFM取得了离线最高auc,上线后点击率也提升了5%。视频一期排序中,尚未考虑个性化因素,用户建模的模型还有待探索实验,基于attention思想的DIN和DIEN模型,是后续尝试的方向。

视频业务指标多,针对多指标优化的多目标模型必不可少,我们的精排大模型框架如下所示。图中示意了两个搜索的基础核心目标,点击率ctr和有效转化率cvr,视频场景下我们认为视频消费时长大于一定阈值则是有效消费。任务底层采用特征共享,模型沿用了MMOE[11]的框架,专家和gate的结构可以由简到繁,我们用多层全连接来作为base结构。考虑到postion bias,构建了一个shallow tower来做位置偏差的消除。单一任务的学习部分,使用了全连接层,为了增强模型的记忆能力,可将原始的输入特征通过sigmoid喂入到task顶层,通过线性逻辑来修正模型泛化的规则。最终计算loss时,参考阿里ESMM[12]的思想,在全空间样本上同时进行ctr和ctcvr的loss学习,可以缓解Sample Selection Bias问题。不同目标的loss在量级和下降程度上会有差异,采用uncertainty weight loss[13]算法自动学习各目标的权重比例。

图片

在敲定大模型结构之前,我们进行了一系列的线下实验,尝试了多目标任务领域内的一些经典模型,如简单的share-bottom方式,也试验了腾讯的PLE[14],下表给出了实验的指标效果。

Models 训练方式 Loss加权系数 CTR-AUC CVR-AUC
Single-CTR
0.810
Single-CVR
0.690
Share-Bottom 交替训练
0.817 0.707
ESMM 联合训练 ctr-loss:ctcvr-loss=0.04:1 0.811 0.678
ESMM 联合训练 UWL自动调权 0.818 0.691
MMOE 联合训练 ctr-loss:ctcvr-loss=1:1 0.823 0.721
MMOE 联合训练 UWL自动调权 0.822 0.720
PLE 联合训练 ctr-loss:ctcvr-loss=1:1 0.822 0.714
PLE 联合训练 UWL自动调权 0.821 0.710
  • 通过实验数据,可以得到以下几个结论:

    • 不同任务loss相差很大时,UWL会比直接Loss加和效果好;loss接近时,效果相当。
    • PLE设计的初衷是为了缓解seesaw phenomenon,当多任务关系复杂时,效果显著;对于ctr&cvr是递进关系的任务,提升效果不显著。
    • ESMM设计是为了解决样本选择性偏差和样本稀疏问题,在视频场景下,cvr样本并非十分稀疏,故cvr提升不明显。
    • MMOE效果最佳,当任务关系简单或递进时,效果明显,将此作为后续上线模型。

对于不同的优化目标,应该酌情考虑模型结构和loss加权方式,不能统一而论。排序二期会将用户的视频播放完成度考虑进来,视频的播放时长占比和ctr、cvr的关系更为复杂,属于回归任务,在模型选取和loss构建上,也会针对性优化。

(3) 排序模型:个性化模型

如前面所说,视频场景下的搜索,跟单曲、艺人搜索相比,更倾向于非精准的搜索,满足用户query的视频候选往往较多,个性化排序的空间相对较大。对于有歧义的query,个性化也能发挥作用,比如歌曲名“会不会”,可以对应到多个艺人意图上,根据用户的历史偏好,可以将用户偏好的艺人视频往前排,提升用户体验。在用户建模中,行为序列是非常有效的特征,也是排序二期探索的重点内容。

图片

4. 小结与展望

云音乐视频搜索当前面临四大痛点,视频内容的理解、相关性、时效性和多目标优化。本文作为第一篇章,阐述了云音乐搜索相关性模块的构建,也分享了精排一期中特征处理、多目标优化的一些经验。搜索的优化任重道远,下半年将集中在更多目标的优化和个性化建模方向,提升线上指标的同时,更好的保障用户的体验,让视频搜索更智能化。

阅读资料

[1] Jiang S, Hu Y, Kang C, et al. Learning query and document relevance from a web-scale click graph[C]//Proceedings of the 39th International ACM SIGIR conference on Research and Development in Information Retrieval. 2016: 185-194.

[2] Yao S, Tan J, Chen X, et al. Learning a Product Relevance Model from Click-Through Data in E-Commerce[C]//Proceedings of the Web Conference 2021. 2021: 2890-2899.

[3] Gao T, Yao X, Chen D. SimCSE: Simple Contrastive Learning of Sentence Embeddings[J]. arXiv preprint arXiv:2104.08821, 2021.

[4] Liang X, Wu L, Li J, et al. R-Drop: Regularized Dropout for Neural Networks[J]. arXiv preprint arXiv:2106.14448, 2021.

[5] Huang J T, Sharma A, Sun S, et al. Embedding-based retrieval in facebook search[C]//Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020: 2553-2561.

[6] Fan M, Guo J, Zhu S, et al. MOBIUS: towards the next generation of query-ad matching in baidu's sponsored search[C]//Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2019: 2509-2517.

[7] Chen Z, Xiao R, Li C, et al. Esam: Discriminative domain adaptation with non-displayed items to improve long-tail performance[C]//Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. 2020: 579-588.

[8] 云音乐模型实时化-基于snapshot的实时样本 https://kms.netease.com/article/27926?from_page=notice

[9] Wang X, Li W, Cui Y, et al. Click-through rate estimation for rare events in online advertising[M]//Online multimedia advertising: Techniques and technologies. IGI Global, 2011: 1-12.

[10] CTR神经网络特征交叉汇总https://mp.weixin.qq.com/s__biz=Mzg4MzU1NjQ2Mw==&mid=2247490987&idx=1&sn=da483f6efa64a0e39e7eb986bd67c8f7&chksm=cf44f4abf8337dbdcf180e8ffacd00ef13b499b14574377cbc25966c9ef553b314de95b2404d&scene=21#wechat_redirect

[11] Zhao Z, Hong L, Wei L, et al. Recommending what video to watch next: a multitask ranking system[C]//Proceedings of the 13th ACM Conference on Recommender Systems. 2019: 43-51.

[12] Ma X, Zhao L, Huang G, et al. Entire space multi-task model: An effective approach for estimating post-click conversion rate[C]//The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. 2018: 1137-1140.

[13] Kendall A, Gal Y, Cipolla R. Multi-task learning using uncertainty to weigh losses for scene geometry and semantics[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 7482-7491.

[14] Tang H, Liu J, Zhao M, et al. Progressive layered extraction (ple): A novel multi-task learning (mtl) model for personalized recommendations[C]//Fourteenth ACM Conference on Recommender Systems. 2020: 269-278.

本文发布自网易云音乐技术团队,文章未经授权禁止任何形式的转载。我们常年招收各类技术岗位,如果你准备换工作,又恰好喜欢云音乐,那就加入我们 staff.musicrecruit@service.netease.com


本文地址:https://www.6aiq.com/article/1672823184639
本文版权归作者和AIQ共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出