运行 Python 时在进程之间交换对象

Question

我想在Python中创建一个过程，该过程在我的代码的主要执行过程中不断运行。它应该提供一种处理Python的顺序执行的方法，以阻止我进行异步执行。

因此，我希望在我的主代码执行其他操作时，函数RunningFunc运行。

我尝试使用螺纹模块。但是，该计算不在parralell中，RunningFunc是一个高度密集的计算，并且在很大程度上放慢了我的主要代码。

我还尝试使用多处理模块，我想这应该是我的答案，使用Multiprocessing.manager（）在通过共享存储器访问第一个过程时进行一些计算随着时间的推移计算的数据。但是我没有找到这样做的方法。

对于runningfunc，compteur变量正在增加。

def RunningFunc(x):
    boolean = True
    Compteur = 0
    while boolean:
       Compteur +=1

在我的主代码中，某些计算正在运行，我有时会打电话（不一定是每个，而其他_bool迭代），compteur runningfunc的变量。

other_bool = True
Value = 0
while other_bool:
   ## MAKING SOME COMPUTATION
    Value = Compteur # Call the variable compteur that is constantly running
   ## MAKING SOME COMPUTATION

Answer 1

在儿童过程中有很多方法可以进行处理。最佳取决于问题，例如要共享的数据大小，这是计算中花费的时间。以下是一个示例，就像您对变量的简单增量相似，但是将其冲入了稍大的整数列表，以突出一些您会遇到的问题。

MultipRocessing.manager是一种在过程之间共享数据的方便方式，但是它并不是特别快，因为它需要在其流程之间同步数据。如果您要共享的数据相当谦虚，并且不会经常改变，那是一个不错的选择。但是我将在这里关注共享记忆。

大多数Python对象不能在共享内存中创建。诸如对象标头，参考计数或内存堆之类的东西是不可共享的。某些对象，特别是numpy数组可以共享，但这是一个不同的答案。

您能做的是序列化和写入/读取共享内存。这可以通过任何序列化机制来完成，但是通过struct转换为基本类型是做到这一点的好方法。

这意味着您必须编写代码以定期保存数据。如果您将比单个CPU级别的单词保存到内存中，则还需要担心同步。父母可以在孩子写作时阅读，从而为您提供不一致的数据。

以下示例显示了处理共享内存的一种方法：

import multiprocessing as mp
import multiprocessing.shared_memory
import time
import struct

data_format = struct.Struct("3Q") # will share 3 longlong ints

def main():
    # lock keeps shared memory readers from getting intermediate data
    shared_lock = mp.Lock()
    shared = mp.shared_memory.SharedMemory(create=True, size=8*3)
    buf = shared.buf
    try:
        print(shared)
        child = mp.Process(target=running_func, args=(shared.name, shared_lock))
        child.start()
        try:
            print("read for 20 seconds")
            for i in range(20):
                with shared_lock:
                    my_list = data_format.unpack_from(buf, 0)
                print(my_list)
                time.sleep(1)
        finally:
            child.terminate()
            child.join()
    finally:
        shared.close()
        shared.unlink()


def running_func(shared_memory_name, lock):
    shared = mp.shared_memory.SharedMemory(name=shared_memory_name)
    buf = shared.buf
    try:
        my_list = [1,2,3]
        while True:
            my_list = [val+1 for val in my_list]
            with lock:
                data_format.pack_into(buf, 0, *my_list)
    finally:
        shared.close()

if __name__ == "__main__":
    main()