Pthreads - 高内存使用率

发布于 2024-12-02 03:40:33 字数 684 浏览 1 评论 0 原文

我正在用 C 编写一些东西，在 256Mb 系统上的 Linux 中创建大量 Pthread。我通常有+200Mb 的免费空间。

当我使用少量线程运行该程序时，它可以工作，但是一旦我让它创建大约 100 个线程，它就会出现错误，因为系统内存不足。我做了几次测试，每个线程使用了近 2Mb。线程的堆栈大小设置为 16Kb。

我用来创建每个线程的代码：

pthread_attr_t attr;
pthread_attr_init(&attr);
size_t stacksize;
stacksize = (double) 16*1024;
int res = pthread_attr_setstacksize (&attr, stacksize);
int res2 = pthread_attr_setdetachstate(&attr, PTHREAD_CREATE_DETACHED);
if (res != 0 || res2 != 0) {
    logs << "pthread_attr_XX: error "+int2string(res);
    exit(-1);
}
pthread_t id;
pthread_create(&id, &attr, &Class::thread_callback, &some_var);

这是正常的还是我遗漏了什么？谢谢。

原文

I am programming something in C that creates a lot of Pthreads in Linux on a 256Mb system. I usually have +200Mb free.

When I run the program with a low amount of threads it works, but once I make it create around 100 threads it gives errors because the system runs out of memory. I did several tests and each threads use almost 2Mb. The stack size of the threads is set to 16Kb.

The code I use to create each thread:

pthread_attr_t attr;
pthread_attr_init(&attr);
size_t stacksize;
stacksize = (double) 16*1024;
int res = pthread_attr_setstacksize (&attr, stacksize);
int res2 = pthread_attr_setdetachstate(&attr, PTHREAD_CREATE_DETACHED);
if (res != 0 || res2 != 0) {
    logs << "pthread_attr_XX: error "+int2string(res);
    exit(-1);
}
pthread_t id;
pthread_create(&id, &attr, &Class::thread_callback, &some_var);

Is it normal or am I missing something? Thanks.

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

眼前雾蒙蒙 2024-12-09 03:40:34

系统线程库并不是为了在内存非常有限的系统上支持大量线程而设计的。您需要使用为此目的设计的线程库，或者更好的是使用更少的线程。

回复收藏 0 原文

最丧也最甜 2024-12-09 03:40:34

是的，对于几乎任何操作系统来说，在这么多线程上阻塞和死掉是相当常见的。这不是操作系统制造商（Linux 或其他）给予太多关注的问题，因为很少有系统拥有那么多 CPU，因此您的代码在 100 个线程下的执行速度可能不会比在 8 个线程（或者无论您使用多少个 CPU）下执行得快得多。有）。

我认为你需要做的是某种线程池。我还怀疑，如果您确实需要那么多线程，则此页面上的 ulimit 答案会很有用，但正如我所说，我认为在大多数情况下，许多线程不会给您带来太多好处，并且如果您在程序中而不是在程序中修复它，系统，它将使其更加便携。

回复收藏 0 原文

伪装你 2024-12-09 03:40:34

为什么 stacksize = (double) 16*1024; ？它是整数。

尝试设置为32或64 KB，因为16*1024可能不允许；堆栈中也可以有 TLS（即使您不使用 TLS；库也使用 TLS，包括 libc）。

因此，将行更改为

stacksize = 64*1024;

并检查消耗了多少内存。

Why stacksize = (double) 16*1024; ? It is integer.

Try to set it to 32 or 64 kilobytes, because 16*1024 may be not allowed; there can be also TLS in the stack (even you doesn't use TLS; libraries do, including libc).

So, change the line to