当前位置：文江博客话题详情

Python Polars：将列读取为日期时间

发布于 2025-01-17 02:17:16 字数 93 浏览 0 评论 0原文

如何将 csv 读入 Polars DataFrame 并将其中一列解析为日期时间？

或者，如何将列转换为 pl.Datetime？

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

痴骨ら 2025-01-24 02:17:17

我首先会在 read_csv 调用中尝试 try_parse_dates=True 。

例如，假设我们有以下数据：

import polars as pl

my_csv = (
b"""
ID,start,last_updt,end
1,2008-10-31,2020-11-28 12:48:53,12/31/2008
2,2007-10-31,2021-11-29 01:37:20,12/31/2007
3,2006-10-31,2021-11-30 23:22:05,12/31/2006
"""
)

pl.read_csv(my_csv, try_parse_dates=True)

shape: (3, 4)
┌─────┬────────────┬─────────────────────┬────────────┐
│ ID  ┆ start      ┆ last_updt           ┆ end        │
│ --- ┆ ---        ┆ ---                 ┆ ---        │
│ i64 ┆ date       ┆ datetime[μs]        ┆ str        │
╞═════╪════════════╪═════════════════════╪════════════╡
│ 1   ┆ 2008-10-31 ┆ 2020-11-28 12:48:53 ┆ 12/31/2008 │
│ 2   ┆ 2007-10-31 ┆ 2021-11-29 01:37:20 ┆ 12/31/2007 │
│ 3   ┆ 2006-10-31 ┆ 2021-11-30 23:22:05 ┆ 12/31/2006 │
└─────┴────────────┴─────────────────────┴────────────┘

start 列解析为日期，last_updt 列解析为日期时间。但请注意，end 列未解析为日期，因为它不是 ISO 8601 格式。（我遇到过很多 csv 文件，其中日期/日期时间字段是非标准的。）

要解析此列，我们可以使用 .str.to_date() 函数并提供适当的格式。

pl.read_csv(my_csv, try_parse_dates=True).with_columns(pl.col('end').str.to_date('%m/%d/%Y'))

shape: (3, 4)
┌─────┬────────────┬─────────────────────┬────────────┐
│ ID  ┆ start      ┆ last_updt           ┆ end        │
│ --- ┆ ---        ┆ ---                 ┆ ---        │
│ i64 ┆ date       ┆ datetime[μs]        ┆ date       │
╞═════╪════════════╪═════════════════════╪════════════╡
│ 1   ┆ 2008-10-31 ┆ 2020-11-28 12:48:53 ┆ 2008-12-31 │
│ 2   ┆ 2007-10-31 ┆ 2021-11-29 01:37:20 ┆ 2007-12-31 │
│ 3   ┆ 2006-10-31 ┆ 2021-11-30 23:22:05 ┆ 2006-12-31 │
└─────┴────────────┴─────────────────────┴────────────┘

I would first try try_parse_dates=True in the read_csv call.

For example, let's say we have the following data:

import polars as pl

my_csv = (
b"""
ID,start,last_updt,end
1,2008-10-31,2020-11-28 12:48:53,12/31/2008
2,2007-10-31,2021-11-29 01:37:20,12/31/2007
3,2006-10-31,2021-11-30 23:22:05,12/31/2006
"""
)

pl.read_csv(my_csv, try_parse_dates=True)

shape: (3, 4)
┌─────┬────────────┬─────────────────────┬────────────┐
│ ID  ┆ start      ┆ last_updt           ┆ end        │
│ --- ┆ ---        ┆ ---                 ┆ ---        │
│ i64 ┆ date       ┆ datetime[μs]        ┆ str        │
╞═════╪════════════╪═════════════════════╪════════════╡
│ 1   ┆ 2008-10-31 ┆ 2020-11-28 12:48:53 ┆ 12/31/2008 │
│ 2   ┆ 2007-10-31 ┆ 2021-11-29 01:37:20 ┆ 12/31/2007 │
│ 3   ┆ 2006-10-31 ┆ 2021-11-30 23:22:05 ┆ 12/31/2006 │
└─────┴────────────┴─────────────────────┴────────────┘

The start column parsed as a Date, and the last_updt column parsed as a Datetime. But notice that the end column did not parse as a date because it is not in ISO 8601 format. (I've come across plenty of csv files where Date/Datetime fields were non-standard.)

To parse this column, we can use the .str.to_date() function and supply the appropriate format.

pl.read_csv(my_csv, try_parse_dates=True).with_columns(pl.col('end').str.to_date('%m/%d/%Y'))

shape: (3, 4)
┌─────┬────────────┬─────────────────────┬────────────┐
│ ID  ┆ start      ┆ last_updt           ┆ end        │
│ --- ┆ ---        ┆ ---                 ┆ ---        │
│ i64 ┆ date       ┆ datetime[μs]        ┆ date       │
╞═════╪════════════╪═════════════════════╪════════════╡
│ 1   ┆ 2008-10-31 ┆ 2020-11-28 12:48:53 ┆ 2008-12-31 │
│ 2   ┆ 2007-10-31 ┆ 2021-11-29 01:37:20 ┆ 2007-12-31 │
│ 3   ┆ 2006-10-31 ┆ 2021-11-30 23:22:05 ┆ 2006-12-31 │
└─────┴────────────┴─────────────────────┴────────────┘

回复收藏 0 原文