近年来，放眼业界广告推荐领域的算法获得了长足的发展，从几篇奠定基础的序列学习、大规模图学习、在线学习&增强学习、多模态推荐问题等起步，业内算法不断迭代发展并在学术和工业场景上取得不错的应用。

京东广告团队不仅在工业场景上非常重视实践，并不断为由“广告主”、“消费者”、“京东”三方的生态正循环中进行技术加码，提供更优的匹配效率、更好的用户体验、更健康的广告生态建设。此外，在近期的学术会议CIKM 2023 （Conference on Information and Knowledge Management ）上也在这几个领域发表了学术论文，获得了学术领域的认可。

一、近年来广告算法发展及要突破的问题

排序算法、多模态算法是推荐系统中的关键组成部分，用于根据用户的兴趣和历史行为来推荐个性化内容。以下是近年来的演进：

1. 深度学习方法的兴起：

近年来，深度学习在排序算法中的应用迅速增加。通过使用深度神经网络来建模用户和物品之间的复杂关系，推荐系统能够更准确地理解用户的兴趣。这些方法包括各种神经网络架构，如卷积神经网络（CNN）、循环神经网络（RNN）和自注意力机制（Transformer）。例如，YouTube的深度学习排序模型可以根据用户的观看历史和行为来推荐视频。

2. 序列建模：

推荐系统越来越注重对用户行为序列的建模。这意味着算法不仅考虑用户当前的兴趣，还考虑他们的历史行为。这可以通过RNN、LSTM（长短时记忆网络）等模型来实现。这使得推荐系统能够更好地理解用户的演变兴趣，例如新闻阅读历史或商品浏览历史。

3. 自监督学习：

自监督学习方法在排序算法中也有广泛应用。这种方法通过从未标记的数据中自动生成标签来进行训练。例如，通过使用用户点击行为生成正样本和负样本，可以训练排序模型。这种方法降低了标记数据的依赖性，提高了模型的可扩展性。

4. 在线学习和增强学习：

排序算法也在采用在线学习和增强学习技术。在线学习可以实时调整推荐模型，以适应用户行为的快速变化。增强学习方法则允许模型通过与用户的互动来进行优化，以最大化长期奖励。这些方法在工业界应用中具有潜力，尤其是在广告推荐领域。

5. 多模态推荐：

随着多模态数据（如文本、图像和视频）的普及，排序算法也越来越关注如何融合和利用多种类型的信息来进行推荐。这涉及到多模态嵌入、多模态对齐和跨模态推荐等领域的研究。

6. 可解释性和公平性：

排序算法的可解释性和公平性问题也备受关注。研究人员努力开发可解释的推荐模型，以增强用户对推荐的信任，并确保模型的决策不会引入不公平性或偏见。

而在上述的发展中，京东广告业务发展中重点解决了“更高效学习”、“更精细建模”、“更优交互能力”、“更美观智能”四个要点进行了突破，后文将分别阐释。

二、四个主要突破

1. “更高效学习”——基于数据先验的增量学习框架 《An Incremental Update Framework for Online Recommenders with Data-Driven Prior》

1.1 简介

在线推荐系统引起了广泛的关注，并为企业创造了巨大的收益。在众多用户和物品的情况下，增量更新成为工业场景中学习大规模模型的主流范式，其中只有滑动窗口内的最新数据被送到模型中，以满足线上快速响应的目的。然而，这种策略模型容易过拟合新增的数据上。