加载多个 CSV 文件（孤岛）以组成 Tensorflow 联合数据集

Question

我正在处理预处理数据，这些数据已经被隔离到单独的 csv 文件中，以表示联合学习的单独本地数据。

为了在 TensorFlow Federated 上使用这些多个 CSV 正确实现联合学习，我只是尝试使用 iris 数据集中的玩具示例重现相同的方法。但是，当尝试使用 tff.simulation.datasets.TestClientData 方法时，我收到错误：

TypeError: can't pickle _thread.RLock objects

当前代码如下，首先加载三个虹膜数据集 CSV 文件（每个 50 个样本） ）从文件名 iris1.csv、iris2.csv 和 iris3.csv 转换为字典：

    silos = {}
    for silo in silos_files:
        silo_name = silo.replace(".csv", "")
        silos[silo_name] = pd.read_csv(silos_path + silo)
        silos[silo_name]["variety"].replace({"Setosa" : 0, "Versicolor" : 1, "Virginica" : 2}, inplace=True)

使用张量创建新字典：

    silos_tf = collections.OrderedDict()
    for key, silo in silos.items():
        silos_tf[key] = tf.data.Dataset.from_tensor_slices((silo.drop(columns=["variety"]).values, silo["variety"].values))

最后，尝试将 Tensorflow 数据集转换为 Tensorflow联合数据集：

tff_dataset = tff.simulation.datasets.TestClientData(
    silos_tf
)

这会引发错误：

TypeError                                 Traceback (most recent call last)
<ipython-input-58-a4b5686509ce> in <module>()
      1 tff_dataset = tff.simulation.datasets.TestClientData(
----> 2     silos_tf
      3 )

/usr/local/lib/python3.7/dist-packages/tensorflow_federated/python/simulation/datasets/from_tensor_slices_client_data.py in __init__(self, tensor_slices_dict)
     59     """
     60     py_typecheck.check_type(tensor_slices_dict, dict)
---> 61     tensor_slices_dict = copy.deepcopy(tensor_slices_dict)
     62     structures = list(tensor_slices_dict.values())
     63     example_structure = structures[0]

...

/usr/lib/python3.7/copy.py in deepcopy(x, memo, _nil)
    167                     reductor = getattr(x, "__reduce_ex__", None)
    168                     if reductor:
--> 169                         rv = reductor(4)
    170                     else:
    171                         reductor = getattr(x, "__reduce__", None)

TypeError: can't pickle _thread.RLock objects

我也尝试使用 Python 字典而不是 OrderedDict，但错误是相同的。在本实验中，我使用 Google Colab 和 此笔记本作为使用 TensorFlow 2.8.0 和 TensorFlow Federated 版本 0.20.0 运行的参考。我还使用了之前的这些问题作为参考：

Is有没有合理的方法来创建 tff 客户端数据集？

'tensorflow_federated.python.simulation' 使用 tff-nightly 时没有属性 'FromTensorSlicesClientData'

我不确定这是否是一个适用于玩具示例之外的案例的好方法，如果有的话关于如何为 TFF 测试带来已经孤立的数据的建议，我很感激。

Answer 1

我使用类 tff.simulation.datasets.TestClientData 在 github 中搜索了公共代码，然后我发现了以下实现（来源）：

def to_ClientData(clientsData: np.ndarray, clientsDataLabels: np.ndarray,
    ds_info, is_train=True) -> tff.simulation.datasets.TestClientData:

    """Transform dataset to be fed to fedjax
    :param clientsData: dataset for each client
    :param clientsDataLabels:
    :param ds_info: dataset information
    :param train: True if processing train split
    :return: dataset for each client cast into TestClientData
    """
    num_clients = ds_info['num_clients']

    client_data = collections.OrderedDict()

    for i in range(num_clients if is_train else 1):
        client_data[str(i)] = collections.OrderedDict(
            x=clientsData[i],
            y=clientsDataLabels[i])

    return tff.simulation.datasets.TestClientData(client_data)

我从中了解到片段表明tff.simulation.datasets.TestClientData 类需要由 numpy 数组组成的 OrderedDict 作为参数，而不是张量的字典（如我之前的实现），现在我更改了代码以下：

silos_tf = collections.OrderedDict()
for key, silo in silos.items():
    silos_tf[key] = collections.OrderedDict(
            x=silo.drop(columns=["variety"]).values,
            y=silo["variety"].values)
    

后跟：

tff_dataset = tff.simulation.datasets.TestClientData(
    silos_tf
)

正确运行为以下输出：

>>> tff_dataset.client_ids
['iris3', 'iris1', 'iris2']