远程并行内核和 LibraryLink——如何让它们一起工作？

Question

有没有人有使用 Mathematica 的 C 扩展（LibraryLink 或 MathLink——目前我正在使用 LibraryLink）和远程并行内核的经验？

简而言之：如何透明地使用 LibraryLink 定义的函数（请参阅 CreateLibrary 和 LibraryFunctionLoad）？

我正在寻找一些设置步骤，使我能够拥有一个 libraryFun 函数（用 C 语言编写），该函数可以通常作为 libraryFun[args] 调用，也可以并行调用（Parallelize@Table[libraryFun[arg], {arg, 0, 100}] 的两者与ParallelTable[]）当子内核在远程计算机上运行时。

^{远程运行主内核可能会更好如果我也没有遇到问题的话。}

---

更新

与此同时，我取得了一些进展。我将在这里描述它。

首先，ParallelEvaluate 将计算所有并行内核中的表达式。如果 C 扩展的源文件复制到远程计算机，我们可以像这样在那里编译它们：

ParallelNeeds["CCompilerDriver`"]
k1 = First@Kernels[]
ParallelEvaluate[SetDirectory["/path/to/source/files"]]
ParallelEvaluate[CreateLibrary["sourefile", "myLibrary"]]

这只需要做一次。我假设该库已经在主内核机器上编译了。

此后，在所有后续会话中，我们可以在主计算机和远程计算机上使用 FindLibrary 来加载库。

LibraryFunctionLoad[myFun = FindLibrary["myLibrary"], "fun", ...]
ParallelEvaluate[myFun = LibraryFunctionLoad[FindLibrary["myLibrary"], "fun", ...]]

麻烦来了。由于路径不同，myFun在主内核和并行内核中会有不同的值。

所以问题是：如何确保 myFun 的值不会意外在主内核和并行内核之间同步？

在一个孤立的示例中展示这种情况是如何意外发生的：

In[1]:= LaunchKernels[2]
Out[1]= {KernelObject[1, "local"], KernelObject[2, "local"]}

在主内核中设置 x 的值：

In[2]:= x = 1
Out[2]= 1

请注意，它在远程内核中也获得相同的值：

In[3]:= ParallelEvaluate[x]
Out[3]= {1, 1}

为 x 设置不同的值> 在并行内核中并验证它们是否保留它：

In[4]:= ParallelEvaluate[x = 2]
Out[4]= {2, 2}

In[5]:= {x, ParallelEvaluate[x]}
Out[5]= {1, {2, 2}}

现在“innocently”在包含 x 的内容上使用 Parallelize：

In[6]:= Parallelize[Table[x, {10}]]
Out[6]= {1, 1, 1, 1, 1, 1, 1, 1, 1, 1}

并查看 x 的值如何在主内核和子内核之间重新同步。

In[7]:= {x, ParallelEvaluate[x]}
Out[7]= {1, {1, 1}}

新问题是：如何防止某个符号自动同步 主内核和子内核之间？

Answer 1

我希望这能回答您的问题：

目前，我假设主内核和并行内核位于同一体系结构上，对我来说就是 Windows 7。首先编译一个函数；你可以在外面做这个
使用 C 编译器的 Mathematica ，或直接在 Mathematica 中：

f = Compile[{x}, x^2, CompilationTarget -> "C"]

您可以通过查看生成的 dll 所在的 f 的 InputForm 进行检查：

f // InputForm

给出类似的内容：

CompiledFunction[{8, 8., 5468}, {_Real}, {{3, 0, 0}, {3, 0, 1}}, {}, {0, 0, 2, 0, 0}, {{40, 
56, 3, 0, 0, 3, 0, 1}, {1}}, Function[{x}, x^2], Evaluate,
LibraryFunction["C:\\Users\\arnoudb\\AppData\\Roaming\\Mathematica\\ApplicationData\\CCompilerDriver\\BuildFolder\\arnoudb2win-5184\\compiledFunction0.dll", 
"compiledFunction0", {{Real, 0, "Constant"}}, Real]]

您可以将此文件复制到并行（可能是远程）内核可以找到它的位置，例如：

CopyFile["C:\\Users\\arnoudb\\AppData\\Roaming\\Mathematica\\ApplicationData\\CCompilerDriver\\BuildFolder\\arnoudb2win-3316\\compiledFunction1.dll",
"c:\\users\\arnoudb\\compiledFunction1.dll"]

然后您可以像这样在所有并行内核中加载该库：

ParallelEvaluate[
 ff = LibraryFunctionLoad["C:\\users\\arnoudb\\compiledFunction1.dll",
 "compiledFunction1", {Real}, Real]
]

并检查这是否有效：

ParallelEvaluate[ff[3.4]]

哪个返回{11.56,11.56} 对我来说。

如果并行内核位于不同的体系结构上，则需要编译 C 代码
对于该架构（或评估并行上的 Compile[..., CompilationTarget->"C"]
核心）。

Answer 2

我似乎在上面的更新中找到了我的问题的解决方案。它似乎有效，但我还不能确认它并不脆弱。

解决方案是将我们不想同步的符号放入单独的上下文中。在我的示例中使用 c`x 代替 x 可以防止在 Parallelize 内部使用 x 的值时同步该值>。然后我们可以将此上下文添加到 $ContextPath 以使符号易于访问。

最方便的方法可能是将所有定义放入使用 LibraryFunctionLoad[FindLibrary[...], ...] 加载库函数的包中。为此，必须首先在本地和远程计算机上手动编译该库，但是，主内核和子内核的包代码可以完全相同。

---

如果有人可以确认不在 $Context 中的变量保证不会自动同步，我仍然感兴趣。

更新已确认这里。