OpenMP 处理许多文件

Question

我编写了一个程序，它与 openMP 对文件中的数据并行计算，

让我们说：

./foobar input.txt

我正在修改我的程序，这样，它将对许多文件执行相同的计算：

./foobar input1.txt input2.txt input3.txt

我的问题是：

以下两者之间哪个更有效： 准备好每个文件（大小可以达到数百兆字节）并对每个文件进行并行计算，

for (i = O; i < numberOfFile; i++)
  calculationOn(filename[i]); // the calculation program run in parallel

或者让每个线程并行读取自己的文件并对其进行处理？

#pragma omp parallel for private(i)
for(i = 0; i < numberOfFile; i++)
  calculationOn(filename[i]);

感谢您的回复！

Answer 1

如果您有很多文件，并且每个文件的输出独立于所有其他文件，那么您根本不需要 OpenMP。只需使用 GNU Parallel 之类的工具在多个处理器上并行运行整个程序即可获得线性加速。在这些情况下，对参数进行 OpenMP 循环可能非常浪费；就程序员的时间而言，就是这样。