为什么 OpenMP 在这种情况下很慢？

Question

我试图理解为什么 OpenMP 会像下面的示例那样工作。

#include <omp.h>
#include <iostream>
#include <vector>
#include <stdlib.h>

void AddVectors (std::vector< double >& v1,
                 std::vector< double >& v2) {

    size_t i;

#pragma omp parallel for private(i)
    for (i = 0; i < v1.size(); i++) v1[i] += v2[i];

}


int main (int argc, char** argv) {

    size_t N1 = atoi(argv[1]);

    std::vector< double > v1(N1,1);
    std::vector< double > v2(N1,2);

    for (size_t i = 0; i < N1; i++) AddVectors(v1,v2);

    return 0;

}

我首先在没有启用 OpenMP 的情况下编译了上面的代码（通过在编译标志上省略 -fopenmp）。 N1 = 10000 的执行时间为 0.1 秒。启用 OpenMP 会使执行时间超过 1 分钟。我在完成之前就停止了它（厌倦了等待......）。

我正在编译代码如下：

g++ -std=c++0x -O3 -funroll-loops -march=core2 -fomit-frame-pointer -Wall -fno-strict-aliasing -o main.o -c main.cpp

g++ main.o -o main

此处并非所有这些标志都是必需的，但我正在尝试并行化的项目中使用它们，并且在那里使用这些标志。这就是为什么我决定把他们留在这里。另外，我添加 -fopenmp 以在编译时启用 OpenMP。

有人知道出了什么问题吗？谢谢你！

Answer 1

我在 Visual Studio 2008 上尝试过相同的示例。
我对您的代码示例进行了两次修改，使用 OpenMP 时它的运行速度比不使用 OpenMP 时快大约 3 倍。

由于无法在 GCC 上确认，问题可能是在主循环中调用了函数 AddVectors，并且每次都必须执行“fork”操作，这将花费一些可测量的时间。因此，如果 N1 = 10000，它必须产生 10000 个“分叉”操作。

我附上了您自己的代码片段，修改后只是为了使其在 Visual Studio 下工作，
我最后添加了一条 print 语句，以避免编译器删除所有代码。

#include <omp.h>
#include <iostream>
#include <vector>
#include <stdlib.h>

void AddVectors (std::vector< double >& v1,
                 std::vector< double >& v2) {

    #pragma omp parallel for
    for (int i = 0; i < static_cast<int>(v1.size()); i++) v1[i] += v2[i];

}


int main (int argc, char** argv) {

    size_t N1 = atoi(argv[1]);

    std::vector< double > v1(N1,1);
    std::vector< double > v2(N1,2);

    for (size_t i = 0; i < N1; i++) AddVectors(v1,v2);


    printf("%g\n",v1[0]);
    return 0;

}

Answer 2

g++ 可能会优化整个 AddVectors 调用吗？尝试返回最后一个 v1 元素并将其存储在 易失性变量中。

Answer 3

问题出在您使用的数组类型上。

向量是一个容器。它是一个存储一些信息的结构，如大小、开始、结束等；并且有几个内置函数，其中运算符[]是其中一个用于访问数据的函数。结果，倾向于加载向量 V 的索引“i”的缓存行加载元素 V[i] 和一些未使用的信息在代码中。

相反，如果您使用经典数组（动态/静态），则运算符 [] 会导致仅加载数据元素。因此，缓存行（通常为 64 字节长）将加载此 double 数组的 8 个元素（double 的大小 = 8 字节）。

请参阅 _mm_malloc 和 malloc 之间的区别以增强数据对齐。

@福兹先生
我对此不太确定。让我们比较这两种情况的性能结果：

i7 处理器上有 4 个线程

阵列花费时间：0.122007 |重复：4 | MFlops：327.85

矢量花费时间：0.101006 |重复：2 | MFlops：188.669

我强制运行时间超过 0.1 秒，因此代码会重复自身。主循环：

const int N = 10000000;
timing(&wcs);
for(; runtime < 0.1; repeat*=2)
{
    for(int r = 0; r < repeat; r++)
    {
        #pragma omp parallel for
        for(int i = 0; i < N; i++)
        {
            A[i] += B[i];
        }
        if(A[0]==0) dummy(A[0]);
    }
    timing(&wce);
    runtime = wce-wcs;
}

MFLops: ((N*repeat)/runtime)/1000000