IPC瓶颈？

Question

我有两个进程，一个生产者和一个消费者。 IPC 在 Win32 上通过 OpenFileMapping/MapViewOfFile 完成。

生产者从另一个源接收视频，然后将其传递给消费者，并通过两个事件完成同步。

对于制作者：

Receive frame
Copy to shared memory using CopyMemory
Trigger DataProduced event
Wait for DataConsumed event

对于消费者

Indefinitely wait for DataProducedEvent
Copy frame to own memory and send for processing
Signal DataConsumed event

如果没有这些，视频的平均帧率为 5 fps。 如果我在两侧添加事件，但没有 CopyMemory，它仍然在 5fps 左右，尽管慢了一点。 当我添加 CopyMemory 操作时，它下降到 2.5-2.8fps。 Memcpy 甚至更慢。

我很难相信简单的内存复制会导致这种速度减慢。 关于补救措施有什么想法吗？

这是我创建共享内存的代码：

HANDLE fileMap = CreateFileMapping(INVALID_HANDLE_VALUE, 0, PAGE_READWRITE, 0, fileMapSize, L"foomap");
void* mapView = MapViewOfFile(fileMap, FILE_MAP_WRITE | FILE_MAP_READ, 0, 0, fileMapSize);

大小为 1024 * 1024 * 3

编辑 - 添加了实际代码：

在生产者上：

void OnFrameReceived(...)
{
    // get buffer
    BYTE *buffer = 0;
...

    // copy data to shared memory
    CopyMemory(((BYTE*)mapView) + 1, buffer, length);

    // signal data event
SetEvent(dataProducedEvent);

    // wait for it to be signaled back!
    WaitForSingleObject(dataConsumedEvent, INFINITE);
}

在消费者上：

while(WAIT_OBJECT_0 == WaitForSingleObject(dataProducedEvent, INFINITE))
    {   
        SetEvent(dataConsumedEvent);
    }

---

好吧，看来从 DirectShow 缓冲区复制到共享内存毕竟是瓶颈。我尝试使用命名管道来传输数据，你猜怎么着——性能恢复了。

有谁知道这可能是什么原因吗？

添加一个我之前认为不相关的细节：生产者被注入并挂接到 DirectShow 图上以检索帧。

Answer 1

内存复制涉及某些幕后操作，对于视频来说这可能很重要。

我会尝试另一条路线：为每个帧或多个帧创建一个共享块。依次命名它们，即 block1、block2、block3 等，以便接收者知道接下来要读取哪个块。现在直接将帧接收到分配的块X，通知消费者新块的可用性，并立即分配并开始使用另一个块。消费者映射该块并且不复制它 - 该块现在属于消费者并且消费者可以在进一步处理中使用原始缓冲区。一旦消费者关闭了该块的映射，该映射就会被销毁。所以你会得到一个块流并避免阻塞。

如果帧处理不需要太多时间而创建共享块却需要太多时间，那么您可以创建一个共享块池，该池足够大以确保生产者和消费者永远不会尝试使用相同的块（您可以通过使用信号量或信号量来使方案复杂化） mutx 来保护每个块）。

希望我的想法很清楚 - 通过使用生产者中的块而不是消费者中的块来避免复制

Answer 2

复制 3MB 内存所花费的时间实际上根本不应该被注意到。对我的旧（和损坏的）笔记本电脑进行快速测试，能够在大约 10 秒内完成 10,000 个 memcpy(buf1, buf2, 1024 * 1024 * 3) 操作。在 1/1000 秒时，它不会显着降低帧速率。

无论如何，似乎可能会发生一些优化来加快速度。目前，您似乎对数据进行了双重或三重处理。双重处理，因为您“接收帧”然后“复制到共享内存”。如果“将帧复制到自己的内存并发送进行处理”意味着您真正复制到本地缓冲区然后进行处理，而不仅仅是从缓冲区进行处理，则三重处理。

另一种方法是直接将帧接收到共享缓冲区中，然后直接从缓冲区中处理它。正如我怀疑的那样，如果您希望能够在处理另一帧的同时接收一帧，则只需增加内存映射的大小以容纳多个帧并将其用作循环数组即可。在消费者方面，它看起来像这样。

char *sharedMemory;
int frameNumber = 0;
...
WaitForSingleObject(...)  // Consume data produced event
frame = &sharedMemory[FRAME_SIZE * (frameNumber % FRAMES_IN_ARRAY_COUNT)
processFrame(frame);
ReleaseSemaphore(...)     // Generate data consumed event

而生产者

char *sharedMemory;
int frameNumber = 0;
...
WaitForSingleObject(...)  // Consume data consumed event
frame = &sharedMemory[FRAME_SIZE * (frameNumber % FRAMES_IN_ARRAY_COUNT)
recieveFrame(frame);
ReleaseSemaphore(...)     // Generate data produced event

只需确保数据消费信号量被初始化为FRAME_IN_ARRAY_COUNT并且数据产生信号量被初始化为0。