Question

1. 为了验证在 baseline 多任务模型设置下，低任务相关性会损害模型质量，我们对人工合成数据进行了如下控制实验。

   • 给定任务相关系数列表，为每个相关系数生成一个人工合成数据集。
   • 在控制所有模型和训练超参数保持不变的同时，分别在每个数据集上训练一个Shared-Bottom多任务模型。
   • 对独立生成的数据集重复上述两步数百次，但是控制任务相关系数列表和超参数相同。
   • 对每个任务相关系数计算模型的平均性能。

   下图给出了不同任务相关系数的 loss 曲线。正如预期所示：随着任务相关性的降低，模型的性能呈下降趋势。对于许多不同的超参数设置，这种趋势是普遍存在的。这一现象验证了我们的假设：即传统的多任务模型对任务关系很敏感。

   • 任务相关系数为 1.0 表示两个任务具有完全相同的权重向量，但是具有各自独立的噪声。 横轴表示训练 step 的数量，纵轴表示 200 次独立运行的平均 loss 。注意：这两个回归任务是对称的，因此只需报告一个任务的结果即可。
   • Shared-Bottom网络是宽度为 16 的单层网络、每个 tower 是宽度为 8 的单层网络。模型使用 TensorFlow 实现，并且使用带默认配置的 Adam 优化器进行训练。