Dask Dataframe 形状属性给出了错误的形状

Question

我正在尝试找到较大 dask 数据帧的子集数据帧的形状。但是我没有得到正确的形状（行数），而是得到了错误的值

在示例中，我将前 3 行存储到一个新的数据框中，当我尝试查找形状 [0] 时，输出是4而不是3。有什么办法可以解决这个问题吗？

data = {'Name':['Tom', 'nick', 'nick', 'krish', 'jack', 'jack'], 'Age':[20, 21, 21, 19, 18, 18]}
df = pd.DataFrame(data)
ddf = dd.from_pandas(df, npartitions = 5)
print(ddf.shape[0].compute()) # --> Outputs 6
    
    
# Only selecting 3 rows
only_3 = ddf.loc[:3,:]
print(only_3.shape[0].compute()) # --> Outputs 4 (Instead of 3)

编辑：

我怎么错过了？ 对这个不好的例子表示歉意。

我正在处理 csv 文件中存储在 dask 数据帧（23 个分区）中的约 24700000 行的真实数据。我通过将 .loc[:100,:] 索引到原始 dask 数据帧来创建示例 dask 数据帧，但是当我尝试查找形状时，我得到 2323 作为数字行。

我可以知道这是如何计算的吗？数据如何分布在所有分区中？

Answer 1

您观察到不同行数的原因是 .loc 将选择最多并包括提供的索引。因此，这一行

only_3 = ddf.loc[:3,:] # this will select 4 rows

选择 4 行，即索引为 0、1、2 和 3 的行。

这是基于 pandas API：

带有标签 'a':'f' 的切片对象（请注意，与通常的 Python 切片相反，当索引中存在时，起始点和终止点都包含在内！请参阅使用标签进行切片，并且包含端点。）< /p>

因此，您的代码原则上似乎是正确的，只需注意这个特定于 pandas 的索引切片语法即可。

更新：如果dask数据帧是通过读取csv文件（或以其他不生成唯一索引的方式）构建的，那么每个分区将有自己的索引。

这意味着，调用 .loc[:3] 将从每个分区中生成最多 4 行。例如，如果有 5 个分区，每个分区有 10 行，则调用 .loc[:4].compute() 将生成一个包含 25 行的数据帧（感谢 @darthbith 的更正）。

如果这是不可取的，有一种方法可以为 dask 数据框中的每一行生成唯一索引，请参阅此答案 。