使用 Ruby C 扩展进行垃圾收集

Question

我正在通过 Ferret（Lucene 的 Ruby 端口）代码来解决 一个错误。 Ferret 代码主要是 Ruby 的 C 扩展。我遇到了 垃圾收集器的一些问题。我设法修复了它，但我 不完全理解我的修复=）我希望有人更深入 Ruby 和 C 扩展的知识（这是我使用 Ruby 的第三天）可以 精心制作的。谢谢。

情况如下：

在 Ferret C 代码中的某些地方，我将“令牌”返回到 Ruby 土地。 代码看起来像

static VALUE get_token (...)
{
  ...
  RToken *token = ALLOC(RToken);
  token->text = rb_str_new2("some text");
  return Data_Wrap_Struct(..., &frt_token_mark, &frt_token_free, token);
}

frt_token_mark 调用 rb_gc_mark(token->text) 和 frt_token_free 只是用 free(token) 释放令牌

在 Ruby 中，此代码与以下内容相关：

token = @input.next

基本上，@input 被设置为某个对象，调用其上的 next 方法 触发 get_token C 调用，该调用返回一个令牌对象。

在 Ruby 领域，我然后做类似 w = token.text.scan('\w+')

当我在 while 1 循环内运行此代码（以隔离我的问题）时，在 某个时候（大约当我的 ruby​​ 进程内存占用达到 256MB 时， 可能是一些 GC 阈值），Ruby 因错误而终止，例如

在终止对象上调用扫描方法

或只是核心转储。我的猜测是 token.text 被垃圾收集了。

我对 Ruby C 扩展了解不够，不知道会发生什么 Data_Wrap_Struct 返回对象。在我看来，Ruby 中的作业 land, token =, 应该创建对它的引用。

我的“解决方法”/“修复”是在 @input 引用的对象，并将令牌文本存储在其中，以 获得额外的参考。所以 C 代码看起来像

RToken *token = ALLOC(RToken);
token->text = rb_str_new2(tk->text);
/* added code: prevent garbage collection */
rb_ivar_set(input, id_curtoken, token->text);
return Data_Wrap_Struct(cToken, &frt_token_mark, &frt_token_free, token);

现在我在输入实例变量中创建了一个“curtoken”，并且 在那里保存了文本的副本...我已小心删除/删除 @input 类的自由回调中的此引用。

使用这段代码，它的工作原理是我不再获得终止的对象 错误。

这个修复对我来说似乎很有意义——它在 curtoken 中保留了一个额外的引用 到 token.text 字符串，这样 token.text 的实例就不会被删除 直到下一次调用@input.next（此时一个不同的 token.text 替换 curtoken 中的旧值）。

我的问题是：为什么之前不起作用？不应该 Data_Wrap_Structure 返回一个对象，当在 Ruby 域中分配时， 有一个有效的引用并且不会被 Ruby 删除？

谢谢。

Answer 1

当Ruby垃圾收集器被调用时，它有一个标记阶段和一个清除阶段。标记阶段通过标记来标记系统中的所有对象：

1. ruby​​ 堆栈帧引用的所有对象（例如局部变量）
2. 所有全局可访问的对象（例如由常量或全局变量引用）及其子对象/引用对象，以及
3. 引用的所有对象通过堆栈上的引用以及这些对象的子对象/引用对象。

以及一些对此讨论不重要的其他对象。然后，清除阶段会销毁所有不可访问的对象（即那些未标记的对象）。

Data_Wrap_Struct 返回对对象的引用。只要该引用可用于 ruby​​ 代码（例如，存储在局部变量中）或位于堆栈上（由局部 C 变量引用），则不应清除该对象。

从您发布的内容看来，令牌->文本正在被垃圾收集。但为什么会被收集呢？一定不能被标记。 Token 对象本身是否被标记？如果是，那么 token->text 应该被标记。尝试在令牌的标记函数中设置断点或打印消息来查看。

如果令牌没有被标记，那么下一步就是找出原因。如果它被标记，那么下一步就是找出为什么 text() 方法返回的字符串被清除（也许它不是被标记的同一个对象）。

另外，您确定是令牌的文本成员导致了异常吗？查看：

http://github.com/dbalmain/ferret /blob/master/ruby/ext/r_analysis.c

我看到令牌和令牌流都有 text() 方法。 TokenStream 结构体不保存对其文本对象的引用（它不能，因为它是一个不了解 ruby​​ 的 C 结构体）。因此，包装 C 结构的 Ruby 对象需要保存引用（这是通过 rb_ivar_set 完成的）。

RToken 结构不需要这样做，因为它在其标记函数中标记其文本成员。

还有一件事：您可以通过在循环中显式调用 GC.start 来重现此错误，而不必分配垃圾收集器启动的大量对象。这不会解决问题，但可能会使诊断更简单。

Answer 2

也许标记为易失性：

http://www.justskins .com/forums/chasing-a-garbage-collection-bug-98766.html

也许你的编译将其引用保留在注册表中而不是堆栈中......我认为在 README.EXT 中提到了一些方法强制一个对象永远不会被GC，但是......问题仍然是为什么它被提前收集......