Concat排序的DASK数据框

Question

我有ts列（无索引）对N dask数据框架进行排序。我想创建一个dataframe- con缩所有它们，但仍然通过此ts列对其进行排序。

注意：ts可以在数据范围之间重叠。

有人可以推荐有效的实施方法吗？

更新：

dfs = []
for product in PRODUCTS:
   namespace = PRODUCT_NAMESPACE[product]
   message_type = PRODUCT_MESSAGE_TYPE[product]

   num_expected_channels = PRODUCT_EXPECTED_CHANNELS[product]
   for channel in range(num_expected_channels):
       df = storage.load(
           namespace,
           partition_filter=(P.date == '2022-02-01') & (P.channel == str(channel)),
       )

       df = df.assign(
          product=product,
          message_type=message_type
       ).astype(
          dict(
              dtype='category',
              product=pd.api.types.CategoricalDtype(PRODUCTS),
              message_type=pd.api.types.CategoricalDtype(['trade', 'quote']),
          )
       ).drop(columns=['channel', 'feed'])

       df = df.set_index('ts', sorted=True, drop=False).persist()

       dfs.append(df)

df = dd.concat(dfs, interleave_partitions=True)
df = df.map_partitions(lambda pdf: pdf.sort_index())

Answer 1

如果您可以附加数据范围并仍在排序，则应查看dask.dataframe.multi.concat。

您应该查看dask.dataframe.dataframe.merge如果简单的串联是为了产生部分排序的数据框架。

编辑：信用 @michel delgado 谁指出，在没有索引的情况下对分区进行分类的数据将是非常内存的 - 消费。您可能想仔细阅读下面的评论以查看更多详细信息。