Question

1. 推荐的研究可以追溯到 1990 年代（《Using collaborative filtering to weave an information tapestry》），在这个时代，早期的工作已经为 content-based filtering 和 Collaborative Filtering: CF 开发了很多启发式方法。

   受到 Netflix 挑战赛的普及，矩阵分解Matrix Factorization: MF方法（《Matrix factorization techniques for recommender systems》）后来成为很长一段时间（从 2008年到 2016 年 ）的主流推荐模型（《Multiverse recommendation: n-dimensional tensor factorization for context-aware collaborative filtering》，《Factorizing personalized markov chains for next-basket recommendation》）。然而，矩阵分解模型的线性特性使得它在处理大型复杂数据时效果较差，例如复杂的 user-item 交互，并且 item 可能包含需要彻底理解的复杂语义（例如文本和图像）。

   大约在 2010年代中期的同一时间，深度神经网络（又叫做深度学习）在机器学习中的兴起已经彻底改变了包括语音识别、计算机视觉、自然语言处理在内的多个领域。深度学习的巨大成功源于神经网络的强大表达能力，这特别有利于从具有复杂模式的大数据中学习。这自然为推荐技术的进展带来了新的机遇。毫无疑问，在过去的几年里，出现了很多关于开发推荐系统的神经网络方法的工作。在这项工作中，论文《A Survey on Accuracy-oriented Neural Recommendation: From Collaborative Filtering to Information-rich Recommendation》旨在对使用神经网络的推荐模型（称作 neural recommender models）进行系统性的评价。这是当前推荐研究中最蓬勃发展的课题，不仅近年来取得了许多令人振奋的进展，而且显示出成为下一代推荐系统技术基础的潜力。

2. 相关工作：鉴于推荐研究的重要性和受欢迎程度，最近发表的一些 survey 也回顾了该领域，如《Toward the next generation of recommender systems: A survey of the state-of-the-art and possible extensions》（2005）、《Collaborative filtering beyond the user-item matrix: A survey of the state of the art and future challenges》(2014)、《Cross domain recommender systems: A systematic literature review》(2017)、《Explainable recommendation: A survey and new perspectives》(2020)、《Graph learning based recommender systems: A review》(2021) 。这里我们简要讨论下我们与这些工作的主要区别，从而强调我们这个 survey 的必要性和意义。

   现有的 survey 包括两个主要部分：

   • 第一个部分侧重于具体的主题或方向，如协同过滤中的辅助信息的利用（《Collaborative filtering beyond the user-item matrix: A survey of the state of the art and future challenges》）、跨域推荐（《Cross domain recommender systems: A systematic literature review》）、可解释性推荐（《Tem: Tree-enhanced embedding model for explainable recommendation》）、知识图谱增强的推荐（《A survey on knowledge graph-based recommender systems》）、序列推荐（《Deep learning for sequential recommendation: Algorithms, influential factors, and evaluations》，《Sequence-aware recommender systems》）、基于会话的推荐（《A survey on session-based recommender systems》）。
   • 另一部分遵循深度学习的分类法来总结推荐方法。例如，《Deep learning based recommender system: A survey and new perspectives》 将关于推荐方法的讨论组织为 MLP based、autoencoder based、RNN based、attention based 。《A review on deep learning for recommender systems: challenges and remedies》 和 《Recommendation system based on deep learning methods: a systematic review and new directions》 也是类似的 survey。这些 survey 主要比较了使用各种深度学习方法进行推荐的技术差异。

   和现有 survey 不同，我们的 survey 是从推荐建模的角度以准确率为目标进行组织的，涵盖了最典型的推荐场景，如 CF 方法、content-enriched 方法、时序 temporal/sequential 的方法。这不仅有助于研究人员了解深度学习技术为何、以及何时起作用，而且有助于从业者为特定推荐场景设计更好的解决方案 。

3. 文章组织方式：无论推荐领域和场景如何，我们都可以将 learning to recommend 问题抽象为：

   $${\hat{y}}_{u,i,c}=f(D_u,D_i,D_c)$$

   也就是说，学习预测函数$f(\cdot ,\cdot ,\cdot )$$ f(\cdot,\cdot,\cdot) $ 来估计用户$u$$ u $ 在上下文$c$$ c $ 下偏好 item 的可能性。其中，数据$D_u$$ D_u $ 描述用户$u$$ u $ 、数据$D_i$$ D_i $ 描述 item$i$$ i $ 、数据$D_c$$ D_c $ 描述上下文$c$$ c $ 。在这样做的过程中，我们允许一个统一的框架来总结神经推荐模型：

   • 首先我们回顾了协同过滤collaborative filtering: CF 模型。协同过滤模型构成了个性化推荐的基础，是推荐领域中研究最多的主题。协同过滤模型可以被视为忽略上下文数据$D_c$$ D_c $ ，并仅仅使用$D_u$$ D_u $ 和$D_i$$ D_i $ 中的 id 或者交互历史。
   • 然后我们回顾了将用户或 item 的辅助信息集成到推荐中的模型，例如用户的画像和社交网络、item 的属性和知识图谱。我们将它们称作 content-enriched 模型，它们通过集成辅助信息到$D_u$$ D_u $ 和$D_i$$ D_i $ 中从而自然地扩展了协同过滤，但是它们也忽略了上下文数据$D_c$$ D_c $ 。
   • 最后我们回顾了使用上下文信息的模型。上下文数据与每个 user-item 交互相关联，但是不属于用户内容或 item 内容，如时间time、位置 location、历史交互序列。除了用户相关数据$D_u$$ D_u $ 、item 相关数据$D_i$$ D_i $ 之外，上下文感知context-aware 模型还基于上下文数据$D_c$$ D_c $ 进行预测。由于篇幅有限，我们聚焦于时间上下文，这是最常见的上下文数据之一。

   下图说明了用于推荐建模的典型数据和三种模型类型。值得注意的是，不同的模型是针对不同的推荐场景而设计的。尽管如此，在很多情况下，我们可以对模型的组件进行简单的调整，使其适合（至少在技术上可行）另一种场景。例如：

   • 许多 CF 模型被设计为首先获得 user representation 和 item representation，然后在给定这些 user representation 和 item representation 的情况下学习预测函数。为了使得它们 content-enriched，我们只需要通过内容建模来增强 representation learning 组件。
   • 另一个例子是我们可以将上下文信息视为用户数据的一部分，即构建$D_{u,c}$$ D_{u,c} $ 来代替$D_u$$ D_u $ ，从而使得 content-enriched 模型也具有上下文感知的能力。

   

   尽管这些调整后的模型可能没有正式提出或公布，但是它们可以很简单地获得，值得在实际应用中探索。这种设计灵活性可以归因于神经推荐模型的逐层架构layer-wise architecture，其中不同的层是为不同的目标而设计的。我们希望这个 survey 能够提供一个清晰的路线图，从而促进从业者理解和更好地设计模型来服务于他们的目标。