附加到内存映射文件

Question

我不断地附加股票报价文件（整数、长整数、双精度数等）。我使用 mmap 将这个文件映射到内存中。

使新附加的数据可用作内存映射的一部分的最有效方法是什么？

我知道我可以再次打开文件（新文件描述符），然后映射它以获取新数据，但这似乎效率低下。向我建议的另一种方法是以 1mb 块预先分配文件，写入特定位置直到到达末尾，然后将文件截断为 +1mb。

还有其他方法吗？

Boost 对此有帮助吗？

Answer 1

Boost.IOStreams 仅具有固定大小 内存映射文件，所以它对解决您的具体问题没有帮助。 Linux 有一个接口 mremap ，其工作原理如下：

void *new_mapping = mremap(mapping, size, size + GROWTH, MREMAP_MAYMOVE);
if (new_mapping == MAP_FAILED)
    // handle error
mapping = new_mapping;

然而，这是不可移植的（并且文档很少）。 Mac OS X 似乎没有mremap。

在任何情况下，您都不需要重新打开文件，只需 munmap 并再次 mmap 即可：

void *append(int fd, char const *data, size_t nbytes, void *map, size_t &len)
{
    // TODO: check for errors here!
    ssize_t written = write(fd, data, nbytes);
    munmap(map, len);
    len += written;
    return mmap(NULL, len, PROT_READ, 0, fd, 0);
}

预分配方案在这里可能非常有用。请务必跟踪文件的实际长度并在关闭之前再次截断它。

Answer 2

我知道答案已被接受，但如果我提供答案，也许会对其他人有所帮助。提前分配一个大文件，例如 10 GiB 大小。提前创建其中三个文件，我将它们称为卷。跟踪您最后已知的位置（例如标头、另一个文件等），然后从该点继续追加。如果达到文件的最大大小并且空间不足，请切换到下一个卷。如果没有更多卷，请创建另一个卷。请注意，您可能会提前几个卷执行此操作，以确保不会阻止您的追加等待创建新卷。这就是我们在 DVR 系统中存储连续传入视频/音频以进行监控的工作中实现它的方式。我们不会浪费空间来存储视频剪辑的文件名，这就是为什么我们不使用真正的文件系统，而是使用平面文件，我们只跟踪偏移量、帧信息（fps、帧类型、宽度/高度等） ）、记录时间和摄像机通道。对于您来说，存储空间对于您所做的工作来说是便宜的，而您的时间却是无价的。所以，提前抢够你想要的东西。您基本上是在实现自己的文件系统，并根据您的需求进行了优化。通用文件系统提供的需求与我们在其他领域的需求不同。

Answer 3

查看 mremap 的手册页 应该是可能的。

Answer 4

我的 5 美分，但它们更针对 C 语言。
制作普通文件，但 mmap 大小很大 - 例如文件是 100K，但 mmap 1GB 或更多。然后您就可以安全地访问不超过文件大小的所有内容。超过文件大小的访问将导致错误。
如果您使用的是 32 位操作系统，请不要使 mmap 太大，因为它会占用您的地址空间。

Answer 5

如果您在 Windows 上使用 boost/iostreams/device/mapped_file.hpp：

如果读取映射对象打开，boost::filesystem::resize_file 会抛出异常，因为缺乏共享权限。
相反，使用 windows-api 调整光盘上的文件大小，并且读取的 mapped_file 仍然可以打开。

bool resize_file_wapi(string path, __int64 new_file_size) //boost::uintmax_t size
{
    HANDLE handle = CreateFile(path.c_str(), GENERIC_WRITE, FILE_SHARE_READ | FILE_SHARE_WRITE, 0, OPEN_EXISTING,
    FILE_ATTRIBUTE_NORMAL, 0);
    LARGE_INTEGER sz;
    sz.QuadPart = new_file_size;

    return handle != INVALID_HANDLE_VALUE
    && ::SetFilePointerEx(handle, sz, 0, FILE_BEGIN)
    && ::SetEndOfFile(handle)
    && ::CloseHandle(handle);
}