有没有一种方法可以向后穿过DASK数据框架？

Question

我想read_parquet，但要从您开始的位置向后读取（假设一个排序索引）。我不想将整个镶木读成记忆，因为这打败了使用它的全部点。有一个不错的方法吗？

Answer 1

假设索引数据框，则可以作为两个步骤进行索引的倒置：倒入分区顺序并在每个分区中反转索引：

from dask.datasets import timeseries

ddf = timeseries()

ddf_inverted = (
    ddf
    .partitions[::-1]
    .map_partitions(lambda df: df.sort_index(ascending=False))
)

Answer 2

如果最后一个n行都在最后一个分区中，则可以使用 dask.dataframe.tail 。如果没有，您可以使用 dask.dataframe.partitions属性。这不是特别聪明，如果您要求太多行，它将炸毁您的内存，但是它应该可以解决问题：

def get_last_n(n, df):
    read = []
    lines_read = 0
    for i in range(df.npartitions - 1, -1, -1):
        p = df.partitions[i].tail(n - lines_read)

        read.insert(0, p)
        lines_read += len(p)
        if lines_read >= n:
            break

    return pd.concat(read, axis=0)

例如，这里有一个带有20行和5个分区的数据框架：

import dask.dataframe, pandas as pd, numpy as np, dask

df = dask.dataframe.from_pandas(pd.DataFrame({'A': np.arange(20)}), npartitions=5)

您可以将上述功能调用任何数量的行要在尾部中获得那么多行：

In [4]: get_last_n(4, df)
Out[4]:
     A
16  16
17  17
18  18
19  19

In [5]: get_last_n(10, df)
Out[5]:
     A
10  10
11  11
12  12
13  13
14  14
15  15
16  16
17  17
18  18
19  19

请求比数据框中的行更多的行要计算整个数据框架：

In [6]: get_last_n(1000, df)
Out[6]:
     A
0    0
1    1
2    2
3    3
4    4
5    5
6    6
7    7
8    8
9    9
10  10
11  11
12  12
13  13
14  14
15  15
16  16
17  17
18  18
19  19

请注意，这会迭代地请求数据，因此，如果您的图形很复杂并且涉及很多混音，则可能非常效率。