MATLAB 中的信号量和锁

Question

我正在开发一个 MATLAB 项目，希望有两个 MATLAB 实例并行运行并共享数据。我将这些实例称为 MAT_1 和 MAT_2。更具体地说，系统的架构是：

1. MAT_1顺序处理图像，使用imread一张一张地读取它们，并使用imwrite<输出每张图像的结果。 /代码>。
2. MAT_2 使用 imread 读取 MAT_1 输出的图像，并将其结果输出到其他位置。

我认为我需要解决的问题之一是保证 MAT_2 在 MAT_1 完全完成写入后读取 MAT_1 输出的图像。

我的问题是：

1. 你将如何解决这个问题？我是否需要使用信号量或锁来防止竞争条件？
2. MATLAB 是否提供任何锁定文件的机制？ （即类似于 flock 的内容，但提供直接由 MATLAB 编写，并且可以在多个平台上运行，例如 Windows 和 Linux）。如果没有，您知道我可以使用任何第三方库在 MATLAB 中构建此机制吗？

编辑：

• 正如 @yoda 在下面指出的，并行计算工具箱 (PCT) 允许阻止 MATLAB 工作程序之间的调用，这非常棒。也就是说，我对不需要 PCT 的解决方案特别感兴趣。

• 为什么需要 MAT_1 和 MAT_2 在并行线程中运行？：

  MAT_2 中完成的处理平均比 MAT_1 慢（并且更容易崩溃），并且 MAT_1 的输出提供给其他不需要等待 MAT_2 完成其工作的程序和进程（包括人工检查）。

答案：

• 对于允许实现信号量但不依赖于 PCT 的解决方案，请参阅下面乔纳斯的答案
• 对于解决该问题的其他好方法，请参阅下面尤达的答案

Answer 1

我会使用信号量来解决这个问题；根据我的经验，PCT 的同步速度慢得不合理。

dfacto（另一个答案）有一个很好的 MATLAB 信号量实现，但它不适用于 MS Windows；我改进了那项工作，这样它就可以了。改进的工作在这里：http://www.mathworks.com/matlabcentral/fileexchange/45504 -semaphoreposixandwindows

这比与 Java、.NET、PCT 或文件锁交互的性能更好。这不使用并行计算工具箱（PCT），并且 AFAIK 信号量功能无论如何也不在 PCT 中（令人费解的是他们遗漏了它！）。可以使用 PCT 进行同步，但我尝试过的所有操作都慢得不合理。

要将此高性能信号量库安装到 MATLAB 中，请在 MATLAB 解释器中运行以下命令：
mex -O -v semaphore.c

您需要安装 C++ 编译器才能将 semaphore.c 编译为二进制 MEX 文件。然后可以从 MATLAB 代码调用该 MEX 文件，如下例所示。

使用示例：

function Example()
    semkey=1234;
    semaphore('create',semkey,1);
    funList = {@fun,@fun,@fun};
    parfor i=1:length(funList)
        funList{i}(semkey);
    end
end
function fun(semkey)
    semaphore('wait',semkey)
    disp('hey');
    semaphore('post',semkey)
end

Answer 2

就我个人而言，我会为此使用并行处理工具箱。

据我所知，Matlab 中没有直接的方法来获得系统范围的文件锁。但是，为了确保 Matlab #2 在文件写入完成后仅读取 Matlab #1 的输出，我建议在写入文件 results_1.mat 后，Matlab #1 写入第二个文件, results_1.finished，这是一个空文本文件。由于第二个文件是在第一个文件之后写入的，因此它的存在表明结果文件已被写入。因此，您可以搜索扩展名为 finished 的文件，即 dir('*.finished')，并使用 fileparts 获取文件名您想要使用 Matlab #2 加载的 .mat 文件。

Answer 3

我不确定您是否正在寻找仅限 matlab 的解决方案，但我刚刚提交了一个用于 Matlab 的信号量包装器。它作为通用信号量工作，但它主要是根据 sharedmatrix 设计的。

Mathworks 接受提交后，我将更新我的研究小组 博客。

请注意，此 mex 文件是 POSIX 信号量功能的包装器。因此，它可以在 Linux、Unix、MacOS 上运行，但不能在 Windows 上开箱即用。当针对 cygwin 库编译时它可能会起作用。

Answer 4

我认为除了使用操作系统特定的锁之外，没有其他万无一失的方法。一种方法可能是让 MAT_1 执行以下操作：

imwrite(fileName);
movefile(fileName, completedFileName);

并让 MAT_2 仅处理completedFileName。

Answer 5

编辑：

看到您的编辑后，不涉及使用任何工具箱的简单解决方案如下：

由于 MAT_2 比 MAT_1 慢得多，因此启动 MAT_2代码> 有延迟。即，当 MAT_1 完成处理（例如 5 个图像左右）时启动它。如果您这样做，MAT_2 将永远不会赶上 MAT_1，因此永远不会处于必须“等待”来自 MAT_1 的图像的情况代码>.

---

我仍然不清楚您的问题中的一些事情：

1. 您说 MAT_1 按顺序处理图像，但是是否必须？换句话说，它们的处理顺序重要吗？
2. 您说 MAT_2 读取 MAT_1 的输出...它必须按照 MAT_1 完成的顺序还是可以是任何顺序？
3. 您说 MAT_2 使用 imread 读取图像并将其输出到其他位置。是否有任何原因导致任务无法合并到 MAT_1 中？

无论如何，您都可以使用并行计算工具箱来实现某种形式的执行阻塞；但您必须创建一个分布式作业（示例）。

需要注意的重要一点是，每个工作人员（实验室）都有一个 labindex，您可以使用 labSend 将数据从工作人员 1（相当于 MAT_1）发送到工作人员 2（相当于 MAT_2），工作人员 2然后使用 labReceive。来自 labReceive 的文档：

此函数会阻止实验室中的执行，直到发送实验室中发生对 labSend 的相应调用。

这几乎正​​是您想要对 MAT_1 和 MAT_2 执行的操作。

另一种方法是在当前会话中生成一个额外的工作线程，但仅将 MAT_1 执行的任务分配给它。然后设置 FinishedFcn任务的属性来执行由 MAT_2 执行的一组函数，但我不推荐它，因为我认为这不是 FinishedFcn 的意图，而且我不知道在某些情况下是否会崩溃。

Answer 6

我还建议查看并行处理工具箱来解决这样的问题，您想要的功能应该在其中的某个地方。我认为这种方式比尝试同步 MATLAB 的两个实例更干净（除非您被迫使用两个实例）。

在没有这样的事情的奇怪情况下，您还可能会考虑不同的环境来实现您想要的。这可能是一种解决方法，但您始终可以将 MATLAB 代码与其他语言（例如 Java、.NET、C 等）连接并使用您习惯的功能。使用 Java，您可以确信您的解决方案是独立于平台的，.NET 只能在 Windows 上运行（至少与 MATLAB 结合使用）。