如何增加“最大打开文件数”的限制Mac OS X 上的 C 语言

Question

Mac OS X 上最大打开文件的默认限制是 256 (ulimit -n)，我的应用程序需要大约 400 个文件处理程序。

我尝试使用 setrlimit() 更改限制，但即使该函数正确执行，我仍然限制为 256。

这是我使用的测试程序：

#include <stdio.h>
#include <sys/resource.h>

main()
{
  struct rlimit rlp;

  FILE *fp[10000];
  int i;

  getrlimit(RLIMIT_NOFILE, &rlp);
  printf("before %d %d\n", rlp.rlim_cur, rlp.rlim_max);

  rlp.rlim_cur = 10000;
  setrlimit(RLIMIT_NOFILE, &rlp);

  getrlimit(RLIMIT_NOFILE, &rlp);
  printf("after %d %d\n", rlp.rlim_cur, rlp.rlim_max);

  for(i=0;i<10000;i++) {
    fp[i] = fopen("a.out", "r");
    if(fp[i]==0) { printf("failed after %d\n", i); break; }
  }

}

输出是：

before 256 -1
after 10000 -1
failed after 253

我不能要求使用我的应用程序的人戳在 /etc 文件或其他文件中。我需要应用程序自己完成它。

Answer 1

rlp.rlim_cur = 10000;

有两件事。

第一。哈哈。显然您在 Mac OS X 的 stdio 中发现了一个错误。如果我修复你的程序/添加错误处理/等，并用 open() 系统调用替换 fopen()，我可以轻松达到 10000 的限制（比我的 10.6.3' OPEN_MAX 限制 10240 低 240 个 fd）

第二。 RTFM：man setrlimit。必须针对 OPEN_MAX 专门处理最大打开文件数的情况。

Answer 2

etresoft 在 Apple 讨论区上找到了答案：

这里的全部问题是你的
printf() 函数。当你打电话时
printf()，你正在初始化
内部数据结构一定
尺寸。然后，您调用 setrlimit() 来
尝试调整这些尺寸。那
功能失败，因为你有
已经在使用那些内部的
与 printf() 的结构。如果你
使用两个 rlimit 结构（一个用于
之前，之后一个），并且不要
打印它们直到调用后
setrlimit，你会发现可以
改变电流的限制
即使在命令行中也可以处理
程序。最大值为 10240。

Answer 3

由于某种原因（可能是二进制兼容性），您必须在包含 之前定义 _DARWIN_UNLIMITED_STREAMS：

#define _DARWIN_UNLIMITED_STREAMS

#include <stdio.h>
#include <sys/resource.h>

main()
{
  struct rlimit rlp;

  FILE *fp[10000];
  int i;

  getrlimit(RLIMIT_NOFILE, &rlp);
  printf("before %d %d\n", rlp.rlim_cur, rlp.rlim_max);

  rlp.rlim_cur = 10000;
  setrlimit(RLIMIT_NOFILE, &rlp);

  getrlimit(RLIMIT_NOFILE, &rlp);
  printf("after %d %d\n", rlp.rlim_cur, rlp.rlim_max);

  for(i=0;i<10000;i++) {
    fp[i] = fopen("a.out", "r");
    if(fp[i]==0) { printf("failed after %d\n", i); break; }
  }

}

打印

before 256 -1
after 10000 -1
failed after 9997

此功能似乎已在 Mac OS X 10.6 中引入。

Answer 4

这可能是您的 libc 的硬限制。某些版本的Solaris 也有类似的限制，因为它们将fd 作为unsigned char 存储在FILE 结构中。如果您的 libc 也是这种情况，您可能无法执行您想要的操作。

据我所知，诸如 setrlimit 之类的东西只会影响您可以使用 open 打开多少个文件（fopen 几乎肯定是在 open 上实现的）。因此，如果此限制是在 libc 级别上，则您将需要替代解决方案。

当然，您可以始终不使用 fopen ，而是使用几乎所有 UNIX 变体上都可用的 open 系统调用。

缺点是您必须使用 write 和 read 而不是 fwrite 和 fread，后者不起作用像缓冲这样的事情（这都是在你的 libc 中完成的，而不是由操作系统本身完成的）。所以它最终可能成为性能瓶颈。

您能描述一下需要同时打开 400 个文件的场景吗？我并不是说没有必要这样做。但是，如果您更清楚地描述您的用例，那么也许我们可以推荐更好的解决方案。

Answer 5

我知道这听起来是个愚蠢的问题，但您真的需要同时打开 400 个文件吗？
顺便问一下，您是否以 root 身份运行此代码？

Answer 6

Mac 操作系统不允许我们像许多基于 UNIX 的操作系统那样轻松更改限制。我们必须创建两个文件

/Library/LaunchDaemons/limit.maxfiles.plist
/Library/LaunchDaemons/limit.maxproc.plist
描述最大进程和最大文件限制。文件的所有权需要更改为“root:wheel”，

仅此并不能解决问题，默认情况下最新版本的 mac OSX 使用“csrutil”，我们需要禁用它。要禁用它，我们需要在恢复模式下重新启动 Mac，然后使用终端禁用 csrutil。

现在我们可以轻松地从终端本身更改最大打开文件句柄限制（即使在正常启动模式下）。

此方法在以下链接中有详细解释。 http://blog.dekstroza.io/ulimit-shenanigans-on -osx-el-capitan/

适用于 OSX-elcapitan 和 OSX-Seirra。