Dynamic Dual Sequence Modeling for Click-Through Rate Prediction
现代推荐系统广泛应用深度学习技术，基于用户与物品之间的交互数据实现个性化推荐。本文通过分析现有的基于行为序列的点击率预估模型，发现其主要存在以下不足：首先，对于不同的用户来说，现有模型对于行为序列的表征相对静态，未能充分利用全局上下文信息，从而限制了模型在不同用户行为背景下对物品动态性的准确捕获能力。其次，对于物品行为序列的研究相对较少，已有方法的建模方式相对简单，并未充分考虑用户与物品行为序列间的对偶性，同时也忽视了用户短期兴趣的相似性。此外，没有考虑到物品属性可能会因与之交互的用户影响而变化，忽视了物品表征在不同时间点的动态性。
1.本文提出了一种融合全局信息的自注意力机制，增强了用户历史行为序列间相似性计算的个性化和动态性。并且引入了时序感知的多兴趣提取模块，有效地捕捉用户具有时间动态性的多兴趣。此外，本文还引入了序列增强的辅助损失模块，以缓解数据稀疏问题，并增强模型对复杂用户行为序列的学习和理解能力。实验结果表明，相比现有方法，DDSM-1在五个数据集上，指标均取得了至少1%的提升，其中在Movies and TV数据集上，更是达到了4%的AUC提升。 本研究对物品侧的行为序列进行了深入建模，充分考虑了当前用户与交互过目标物品的用户群体之间的相似关系。具体地，通过物品行为序列与用户行为序列的对偶性，群体长期兴趣采用了与用户行为序列对偶的建模方式。
2.此外，我们对用户群体的长期兴趣和短期兴趣进行了解耦，通过独立的模块来建模短期兴趣的相似性，提高了模型对用户兴趣变化的适应性。实验结果表明，相较于现有方法，DDSM-2在五个数据集上指标均实现了至少1%的性能提升，在Video Games数据集上更是取得了7%的LogLoss下降。
3.鉴于物品的属性是随时间变化的，而这种变化又与交互过的用户有关，所以为了进一步增强当前用户行为序列的动态性，本文通过引入动态物品生成模块，考虑了近期交互用户对物品属性产生的影响，从而提升了物品表征动态性和时效性。实验结果显示，与原有方法相比，DDSM-3在五个数据集上，AUC指标均取得了至少1.7%的提升，LogLoss指标均取得了5%的下降。
