如何在 Python C-API 中动态创建派生类型

Question

假设我们有 为 Python 编写 C 扩展模块的教程。现在我们要创建一个派生类型，仅覆盖 Noddy 的 __new__() 方法。

目前我使用以下方法（为了可读性而删除错误检查）：

PyTypeObject *BrownNoddyType =
    (PyTypeObject *)PyType_Type.tp_alloc(&PyType_Type, 0);
BrownNoddyType->tp_flags = Py_TPFLAGS_DEFAULT | Py_TPFLAGS_BASETYPE;
BrownNoddyType->tp_name = "noddy.BrownNoddy";
BrownNoddyType->tp_doc = "BrownNoddy objects";
BrownNoddyType->tp_base = &NoddyType;
BrownNoddyType->tp_new = BrownNoddy_new;
PyType_Ready(BrownNoddyType);

这有效，但我不确定这是否是正确的方法。我预计我必须设置 Py_TPFLAGS_HEAPTYPE< /a> 标志也是如此，因为我在堆上动态分配类型对象，但这样做会导致解释器中出现段错误。

我还考虑过使用 PyObject_Call() 或类似的显式调用 type() ，但我放弃了这个想法。我需要将函数 BrownNoddy_new() 包装在 Python 函数对象中，并创建一个将 __new__ 映射到该函数对象的字典，这看起来很愚蠢。

解决这个问题的最佳方法是什么？我的做法正确吗？是否有我错过的接口功能？

更新

python-dev 邮件列表上有两个关于相关主题的线程 (1) (2)。从这些线程和一些实验中，我推断出我不应该设置 Py_TPFLAGS_HEAPTYPE ，除非类型是通过调用 type() 分配的。这些线程中有不同的建议，是手动分配类型更好还是调用 type() 更好。如果我知道包装应该放入 tp_new 槽中的 C 函数的推荐方法是什么，我会对后者感到满意。对于常规方法，此步骤很简单 - 我只需使用 PyDescr_NewMethod( ) 获取合适的包装对象。不过，我不知道如何为我的 __new__() 方法创建这样的包装器对象 - 也许我需要未记录的函数 PyCFunction_New() 来创建这样的包装器目的。

Answer 1

当我修改扩展以兼容Python 3时，我遇到了同样的问题，并在尝试解决它时找到了这个页面。

我最终通过阅读Python解释器的源代码解决了这个问题，PEP 0384 以及 C-API 的文档。

设置 Py_TPFLAGS_HEAPTYPE 标志告诉解释器将 PyTypeObject 重新转换为 PyHeapTypeObject，其中包含还必须分配的其他成员。在某些时候，解释器会尝试引用这些额外的成员，如果您不分配它们，则会导致段错误。

Python 3.2 引入了 C 结构体 PyType_Slot 和 PyType_Spec 以及 C 函数 PyType_FromSpec 来简化动态类型的创建。简而言之，您使用 PyType_Slot 和 PyType_Spec 指定 PyTypeObject 的 tp_* 成员，然后调用 < code>PyType_FromSpec 来完成分配和初始化内存的脏工作。

从 PEP 0384 开始，我们有：（

typedef struct{
  int slot;    /* slot id, see below */
  void *pfunc; /* function pointer */
} PyType_Slot;

typedef struct{
  const char* name;
  int basicsize;
  int itemsize;
  int flags;
  PyType_Slot *slots; /* terminated by slot==0. */
} PyType_Spec;

PyObject* PyType_FromSpec(PyType_Spec*);

上面不是 PEP 0384 的文字副本，它还包括 const char *doc 作为 PyType_Spec 的成员。但是该成员没有出现在源代码中。）

要在原始示例中使用这些，假设我们有一个 C 结构 BrownNoddy，它扩展了基类的 C 结构诺迪。然后我们会：

PyType_Slot slots[] = {
    { Py_tp_doc, "BrownNoddy objects" },
    { Py_tp_base, &NoddyType },
    { Py_tp_new, BrownNoddy_new },
    { 0 },
};
PyType_Spec spec = { "noddy.BrownNoddy", sizeof(BrownNoddy), 0,
                      Py_TPFLAGS_DEFAULT | Py_TPFLAGS_BASETYPE, slots };
PyTypeObject *BrownNoddyType = (PyTypeObject *)PyType_FromSpec(&spec);

这应该完成原始代码中的所有操作，包括调用 PyType_Ready，以及创建动态类型所需的操作，包括设置 Py_TPFLAGS_HEAPTYPE 以及分配和初始化PyHeapTypeObject 的额外内存。

我希望这有帮助。

Answer 2

如果这个答案很糟糕，我预先表示歉意，但是您可以在 PythonQt 中找到这个想法的实现，特别是我认为以下文件可能是有用的参考：

• PythonQtClassInfo.cpp
• PythonQtClassInfo.h
• PythonQtClassWrapper.cpp
• PythonQtClassWrapper.h

这个片段来自 PythonQtClassWrapper_init 的内容让我觉得有些有趣：

static int PythonQtClassWrapper_init(PythonQtClassWrapper* self, PyObject* args, PyObject* kwds)
{
  // call the default type init
  if (PyType_Type.tp_init((PyObject *)self, args, kwds) < 0) {
    return -1;
  }

  // if we have no CPP class information, try our base class
  if (!self->classInfo()) {
    PyTypeObject*  superType = ((PyTypeObject *)self)->tp_base;

    if (!superType || (superType->ob_type != &PythonQtClassWrapper_Type)) {
      PyErr_Format(PyExc_TypeError, "type %s is not derived from PythonQtClassWrapper", ((PyTypeObject*)self)->tp_name);
      return -1;
    }

    // take the class info from the superType
    self->_classInfo = ((PythonQtClassWrapper*)superType)->classInfo();
  }

  return 0;
}

值得注意的是，PythonQt 确实使用了包装器生成器，所以它是不完全符合您的要求，但我个人认为试图超越 vtable 并不是最优化的设计。基本上，Python 有许多不同的 C++ 包装器生成器，人们使用它们是有充分理由的 - 它们被记录在案，搜索结果和堆栈溢出中也有一些示例。如果您手动推出一个以前没有人见过的解决方案，那么如果他们遇到问题，调试起来就会困难得多。即使它是闭源的，下一个维护它的人也会摸不着头脑，你必须向每个新来的人解释它。

一旦代码生成器开始工作，您所需要做的就是维护底层 C++ 代码，而不必手动更新或修改扩展代码。 （这可能与您使用的诱人解决方案相距不远）

建议的解决方案是打破新引入的类型安全的示例 PyCapsule 提供更多保护 反对（按指示使用时）。

因此，虽然它可能不是以这种方式实现派生/子类的最佳长期选择，而是包装代码并让 vtable 做它最擅长的事情，当新人有疑问时，你可以向他指出任何内容 解决方案 适合 最佳。

但这只是我的意见。 ：D

Answer 3

尝试并了解如何执行此操作的一种方法是使用 SWIG 创建它的版本。看看它产生了什么，看看它是否匹配或以不同的方式完成。据我所知，编写 SWIG 的人对扩展 Python 有深入的了解。无论如何，看看他们如何做事也没什么坏处。它可能会帮助您理解这个问题。