Question

1. 上述各种基于神经网络的推荐模型已经证明了卓越的推荐质量。然而，我们意识到目前的推荐解决方案远不能令人满意，并且在这方面仍然存在很多机会。因此，我们从基础basis,、建模modeling、评估evaluation的角度概述了一些值得更多研究工作的可能方向。最后，同样重要的是，我们讨论了推荐模型的可复现性。

2. 基础Basis ：推荐基准 Recommendation Benchmarking。尽管近年来神经网络推荐系统领域引起了人们极大的兴趣，但是研究人员也很难跟踪什么代表了 state-of-the-art 模型。这迫切需要确定泛化到大多数推荐模型的架构和关键机制。

   然而，这是一项非常重要的任务，因为推荐场景多种多样，例如静态推荐模型、动态推荐模型、content enriched 模型、 knowledge enhanced 模型。不同的推荐模型依赖于具有不同输入的不同数据集。此外，由于建模过程中的假设，相同的模型在不同的推荐场景中会有不同的性能。

   事实上，CF based 的 Netflix 竞赛已经过去了十余年，如何设计一个大型基准推荐数据集来跟踪 state-of-the-art 推荐问题并更新 leading performance 从而进行比较，这是一个挑战性的、紧迫的未来方向。

3. 模型：图推理Graph Reasoning 和自监督学习 Self-supervised Learning 。

   • 图是表达各种推荐场景的普遍结构。例如，CF 可以被视为是 user-item 二部图，基于内容的推荐可以表示为属性化的 user-item 二部图或异质信息网络heterogeneous information network ，knowledge enhanced 推荐可以被定义为知识图谱和 user-item 二部图的组合。

     随着图深度学习的巨大成功，设计基于图的推荐模型很有前途。最近的一些研究已经通过实验证明了 grap embedding based 的推荐模型的优越性，如何探索图推理技术从而获得更好的推荐是一个有前途的方向。

   • 此外，自监督学习正在出现，并在推荐任务中展示出前景。自监督学习的核心是通过一些辅助任务从有限可用的 user-item 交互数据中提取额外的监督信号，并促进下游的推荐任务。由于这种监督信号是对 user-item 交互的补充，因此它们增强了 user representation learning 和 item representation learning 。将自监督学习纳入推荐可以为长期存在的数据稀疏性和长尾分布问题提供有前景的解决方案。

4. 评估：社会公益推荐Social Good Recommendation 的多目标Multi-Objective Goals。推荐系统已经渗透到我们日常生活的方方面面，并极大地塑造了供应方 provider 和用户的决策过程。

   • 大多数以前的推荐系统都聚焦在基于推荐准确率的用户体验的单一目标上。这些系统限制了将用户满意度user satisfaction 纳入多目标的能力，例如，推荐多样性和可解释性以说服用户。
   • 此外，以用户为中心的方法忽略了利益相关方、以及社会的系统性目标。以准确率为目标的、数据驱动的方法可能会导致算法决策过程中的 bias。对于推荐系统，研究人员已经意识到长尾 item 被推荐的机会较少，并且使用户获益可能会使系统中其它相关方利益受损。

   如何为社会公益推荐提供多目标，如可解释性、多方利益平衡、社会公平等等，是需要关注的重点研究课题。

5. 讨论：可复现性Reproducibility。虽然神经推荐模型在推荐领域占据主导地位，并声称比以前的模型有了实质性的改进，但是最近的工作对它们的可复现性提出了质疑。这可以归因于两个方面：

   • 首先，神经推荐模型基于神经网络，在实践中很难调优。因此 ，我们应该仔细选择初始化、调优超参数、避免模型坍塌model collapse 等等。
   • 此外，由于推荐的应用场景不同，不同的模型在数据集上的选择和实验上的setting 也存在差异。具体而言，众所周知，推荐模型对数据集大小、数据集稀疏性、数据预处理技术、数据集拆分方式、负采样策略、损失函数的选择、优化方式的选择、性能评估指标等等都很敏感。因此，进行公平的性能比较是非常具有挑战性的。

   为了推进推荐社区，一些研究人员在数据层面作出努力，如行业相关的推荐 benchmark、微软新闻数据集 MIcrosoft News Dataset: MIND、Yelp 数据集。其他人则聚焦于统一评估框架。例如，研究人员认为，以前默认使用采样的指标来评估推荐模型（即，在测试期间仅使用一小部分采样的负样本，而不是使用完整的测试集），这种方式与真实趋势不一致。为了实现公平和可复现的比较，将实验 setting 透明化至关重要（如，发布代码、数据集、实验 setting，并在可能的情况下建立排行榜leaderboard）。此外，除了网络架构工程和寻找“最佳”性能之外，还应该鼓励对理论思考和可复现性分析的研究。