如何确定用于声明 PyObject 实例布局的结构体？

Question

我正在用 C++ 编写 Python 3 扩展，并且正在尝试找到一种方法来检查 PyObject 是否与定义其实例布局的类型（结构）相关。我只对静态大小 PyObject 感兴趣，而不是 PyVarObject。实例布局由具有某些明确定义的布局的结构体定义：强制的 PyObject 标头和（可选）用户定义的成员。

下面是基于众所周知的 的 PyObject 扩展示例定义新类型中的 Noddy 示例：

// Noddy struct specifies PyObject instance layout
struct Noddy {
    PyObject_HEAD
    int number;
};

// type object corresponding to Noddy instance layout
PyTypeObject NoddyType = {
    PyObject_HEAD_INIT(NULL)
    0,                         /*ob_size*/
    "noddy.Noddy",             /*tp_name*/
    sizeof(Noddy),             /*tp_basicsize*/
    0,                         /*tp_itemsize*/
    ...
    Noddy_new,                 /* tp_new */
};

值得注意的是 Noddy 是一种类型，一个编译时实体， 但NoddyType是运行时内存中存在的对象。 Noddy 和 NoddyType 之间唯一明显的关系似乎是 sizeof(Noddy) 的值存储在 tp_basicsize 成员中。

在 Python 中实现的手写继承指定了允许在 PyObject 和用于声明特定 PyObject 实例布局的类型之间进行转换的规则：

PyObject* Noddy_new(PyTypeObject *type, PyObject *args, PyObject *kwds)
{
    // When a Python object is a Noddy instance,
    // its PyObject* pointer can be safely cast to Noddy
    Noddy *self = reinterpret_cast<Noddy*>(type->tp_alloc(type, 0));

    self->number = 0; // initialise Noddy members

    return reinterpret_cast<PyObject*>(self);
}

在各种槽函数等情况下，可以安全地假设“Python 对象是 Noddy”并在不进行任何检查的情况下进行强制转换。 然而，有时需要在其他情况下进行强制转换，那么感觉就像是盲目转换：

void foo(PyObject* obj)
{
    // How to perform safety checks?
    Noddy* noddy = reinterpret_cast<Noddy*>(obj);
    ...
}

可以检查 sizeof(Noddy) == Py_TYPE(obj)->tp_basicsize，但它是解决方案不充分，因为：

1) 如果用户从 Noddy 派生

class BabyNoddy(Noddy):
    pass

，并且 foo 中的 obj 指向 BabyNoddy 的实例代码>, Py_TYPE(obj)->tp_basicsize 是不同的。 但是，转换为reinterpret_cast(obj)以获取指向实例布局部分的指针仍然是安全的。

2) 可以有其他结构体声明与 Noddy 大小相同的实例布局：

struct NeverSeenNoddy {
    PyObject_HEAD
    short word1;
    short word2;
};

事实上，C 语言级别的 NeverSeenNoddy 结构体与 NoddyType 兼容code> 类型对象 - 它可以适合 NoddyType。所以，演员阵容可能完全没问题。

所以，我的大问题是：

是否有任何 Python 策略可用于确定 PyObject 是否与 Noddy 实例布局兼容？

有什么方法可以检查 PyObject* 是否指向嵌入在 Noddy 中的对象部分？

如果没有政策，是否有可能进行黑客攻击？

编辑：有几个问题看起来很相似，但在我看来它们与我问的问题不同。例如： 访问 PyObject 的底层结构

编辑2：按顺序要了解为什么我将 Sven Marnach 的回复标记为答案，请参阅该答案下面的评论。

Answer 1

在 Python 中，您可以使用测试 isinstance(obj, Noddy) 检查 obj 是否为 Noddy 类型或派生类型。 C-API 中测试某些 PyObject *obj 是否为 NoddyType 类型或派生类型基本相同，您使用 PyObject_IsInstance()：

PyObject_IsInstance(obj, &NoddyType)

至于你的第二个问题，没有办法实现这一目标，并且如果你认为你需要这个，你的设计有严重的缺点。最好首先从 NoddyType 派生 NeverSeenNoddyType —— 那么上面的检查也会将派生类型的对象识别为 NoddyType 的实例。

Answer 2

由于每个对象都以 PyObject_HEAD 开头，因此访问此标头定义的字段始终是安全的。其中一个字段是 ob_type（通常使用 Py_TYPE 宏访问）。如果它指向 NoddyType 或从 NoddyType 派生的任何其他类型（这是 PyObject_IsInstance 告诉您的），那么您可以假设该对象的布局是struct Noddy 的结构。

换句话说，如果对象的 Py_TYPE 指向 NoddyType 或其任何子类，则该对象与 Noddy 实例布局兼容。

第二个问题，演员阵容不太好。 Noddy 和 NeverSeenNoddy 的布局不同，尽管大小可能相同。

假设 NeverSeenNoddy 是 NeverSeenNoddy_Type 类型的布局，如果 PyObject_IsInstance(obj, &NeverSeenNoddy_Type)<，则永远不应该转换为 NeverSeenNoddy /代码> 是假的。

如果您想要两个具有公共字段的 C 级类型，则应从实例布局中仅具有公共字段的公共基础派生这两种类型。

然后，子类型应在其布局顶部包含基本布局：

struct SubNoddy {
    // No PyObject_HEAD because it's already in Noddy
    Noddy noddy;
    int extra_field;
};

然后，如果 PyObject_IsInstance(obj, &SubNoddy_Type) 返回 true，您可以转换为 SubNoddy 并访问extra_field 字段。
如果 PyObject_IsInstance(obj, &Noddy_Type) 返回 true，您可以转换为 Noddy 并访问公共字段。