扭曲线程如何避免深度复制

Question

我有一个扭曲的服务器，它为每个请求执行一些“长”任务，所以我推迟线程每个调用。在每个请求中，我访问一个公共资源，该资源在此过程中会发生变化。每个请求都应从原始数据开始，因此我在公共资源上使用深度复制（同时调用锁获取）。它有效，但我认为它不够快。我有一种感觉，深度复制会减慢速度。

在处理资源突变的线程扭曲服务器时，您有什么建议？

Answer 1

尝试在工作线程中使用尽可能少的数据进行操作。将它们需要的所有数据作为参数传递，并将它们的所有输出作为返回值（延迟触发的值），而不是作为输入的突变。

然后将结果集成到reactor线程中的公共数据结构中。

这可以让您独立地推理工作并避免任何额外的锁定（这会导致争用、减慢速度并让事情变得更加混乱）。

Answer 2

如果您愿意，您可以使用 threading.Lock 同步对共享资源的访问，就像在任何其他线程程序中一样，而不是复制它。

无论如何，我认为值得在使用和不使用深度复制的情况下对代码进行基准测试，并在进行优化之前进行测量以找出性能的好坏。也许它慢的原因与深度复制无关。

关于使用锁定的编辑：我的意思是您可以对该资源使用更细粒度的锁定。我假设您的线程所做的不仅仅是访问共享资源。您可以尝试从执行工作的多个线程中受益，然后同步对涉及写入共享资源的一个“关键部分”的访问。您还可以研究使共享资源线程安全。例如，如果有一个共享对象，SillyExampleFriendsList：

class SillyExampleFriendsList(object):
    """Just manipulates a couple lists"""
    def __init__(self):
       self._lock = threading.RLock()
       self._friends = []
       self._enemies = []

    def unfriend(self, x):
       # we lock here to ensure that we're never in a state where
       # someone might think 'x' is both our friend and our enemy.
       self._lock.acquire()
       self._friends.remove(x)
       self._enemies.append(x)
       self._lock.release()

这里的重点是，通过仔细使用锁，可以在多个线程之间共享上述对象，而无需进行深度复制。识别可能需要这样做的所有情况并非易事，细粒度锁定策略可能更难以调试，并且仍然会带来开销。

也就是说，您可能根本不需要线程、锁或深度复制，并且如果不对代码进行基准测试，就不清楚是否存在需要解决的性能问题。我很好奇是什么让您认为您的代码应该或需要更快？