Question

1. 我们现在简单地强调一些与机器学习相关的技术债的其它领域。

   • 数据测试债Data Testing Debt：如果在机器学习系统中数据代替了代码，并且代码应该被测试，那么很显然，对于输入数据的一些测试对于一个运行良好的系统而言是至关重要的。

     基本的健全性检查sanity checks 是很有用的，因为更复杂的测试可以监控输入分布的变化。

   • 复现性债Reproducibility Debt：作为科学家，重要的是我们可以重复实验并获得类似的结果。但是设计真实世界的系统以允许严格的可复现性reproducibility 是一项艰巨的任务，因为随机算法、并行学习中固有的不确定性non-determinism 、依赖的初始条件、以及外部世界的交互所造成的。

   • 流程管理债Process Management Debt：本文中描述的大多数用例use cases 都谈到了维护单个模型的成本，但是成熟的系统可能同时运行几十个或几百个模型。这引发了一系列重要问题，包括安全地自动地更新许多相似模型的许多配置configurations的问题、如何在具有不同业务优先级的模型之间管理和分配资源、如何可视化和检测生产管道production pipeline 中数据流的阻塞。

     开发工具来帮助从生产事故中恢复recovery 也很重要。需要避免的一个重要的system-level smell 是：具有很多人工步骤的通用流程common processes 。

   • 文化债Cultural Debt：机器学习研究和工程之间有时存在很强的边界，但是这对于长期的系统健康可能适得其反。重要的是要创建团队文化，鼓励删除特征、降低复杂性、提升可复现性reproducibility /稳定性stability、以及监控，其重视程度和重视提高准确性accuracy 的程度相同。

     根据我们的经验，这最有可能发生在机器学习研究和工程方面都有优势的异质heterogeneous 团队（两拨人分别处理机器学习研究和工程）中。