如何限制使用“malloc()”获取的内存而不限制堆栈？

Question

我试图阻止学生代码因分配而疯狂运行并拖累我的测试机器停止运行。我尝试过

setrlimit(RLIMIT_DATA, r);

，其中 r 是一个具有限制的结构。但不幸的是，尽管此限制阻止 brk 和 sbrk 进行分配，但 C 库只是故障转移到 mmap 并继续进行分配。

我也尝试过

setrlimit(RLIMIT_AS, r)

，这会阻止进程正常运行，但这种补救措施太严重了——进程不可能从 ENOMEM 错误中恢复，因为没有堆栈空间用于调用代码遇到从 malloc() 返回的 NULL 值。

我对二进制文件的控制有限，所以如果可以通过系统调用来完成，我更喜欢这样做。但我需要一些方法来限制分配而不破坏进程的恢复能力。有人有建议吗？

更新：我发现了一个叫做failmalloc的东西，但它不是很复杂，虽然我可以导致失败时，我总是遇到 gdb 无法诊断的段错误。

进一步更新：我发现 setrlimit(RLIMIT_AS, r) 确实似乎可以完成我想要的工作，至少在某些情况下——段错误后来发生的情况是由不相关模块的故障引起的。除非有人提出一些有趣的东西（或保留问题的理由），否则我可能会删除该问题。

Answer 1

基于 failmalloc 使用的想法，您可以使用 LD_PRELOAD^*
环境变量和函数插入，以围绕 malloc() 构建包装器并在那里施加任何限制。

您需要使用 dlsym()。您不能直接从包装器调用原始 malloc()，因为它将被解释为对包装器本身的递归调用。

#define _GNU_SOURCE
#include <stdio.h>
#include <stdint.h>
#include <dlfcn.h>

void * malloc(size_t size)
{
   static void * (*func)(size_t) = NULL;
   void * ret;

   if (!func)
   {
      /* get reference to original (libc provided) malloc */
      func = (void *(*)(size_t)) dlsym(RTLD_NEXT, "malloc");
   }

   /* impose any necessary restrictions before calling malloc */
   ...

   /* call original malloc */
   ret = func(size);

   /* impose any necessary restrictions after calling malloc */
   ...

   return ret;
}

* 请注意，LD_PRELOAD 必须指定插入器库的完整路径，并且对 setuid 程序禁用该库插入，以防止出现安全问题。

---

替代方法 /www.opengroup.org/onlinepubs/009695399/functions/dlsym.html" rel="nofollow noreferrer">dlsym() 将使用 GNU 链接器 --换行符号 选项。

Answer 2

你能对毫无戒心的学生强行使用宏吗？ :-)

#define malloc(bytes) limited_malloc(bytes)

以及 limited_malloc 的定义，限制了可以做的事情。