如何泡菜自定义python对象包含火花数据框作为属性

Question

我创建了一个自定义Python类，该类拥有三个类型（PY）Spark DataFrame的属性。上述班级的构造函数看起来像这样：

class MyClass:
    def __init__(self, df_a, df_b, df_c):
        self.a = df_a
        self.b = df_b
        self.c = df_c

我想保存本类已经实例化的对象，并能够在将来加载它。但是，如果我尝试使用泡菜保存它，则它会抛出typeerror：cockle _thread.lock对象 exception。据我所知，由于无法直接腌制Spark DataFrames，因此会出现此例外。

我已经研究了功能df.rdd.saveaspicklefile（filename），因为我可以使用它独立于三个数据范围来腌制，但这不是我想要的。我想拥有一个单个泡菜对象。

注意：每当我说Pickle时，我都可以使用任何其他序列化类型，只要它允许我保存和加载一个对象。