使用 usecols 将 CSV 文件读入 Dask DataFrames

Question

我正在 dask 中阅读 CSV 文件，但在阅读时，我想像我们在 panads 中使用的那样“usecols”。

我目前用于 DASK 的内容，

df = dd.read_csv('myfiles.csv')  #in dask

我想像我们在 pandas 中一样使用，

df = pd.read_csv('myfiles.csv',usecols=["date", "loc", "x"])

Answer 1

您尝试过吗：

df = dd.read_csv('myfiles.csv',names=["date", "loc", "x"])

这是 pandas.read_csv

names 类似数组，可选

要使用的列名称列表。如果文件包含标题行，则应显式传递 header=0 来覆盖列名称。此列表中不允许有重复项。

您可以使用额外的关键字参数转发到 pandas.read_csv()。
dask.dataframe.read_csv 所以甚至

df = dd.read_csv('myfiles.csv',usecols=["date", "loc", "x"])

可以用于你。