将 Pandas 列转换为日期时间

Question

我在 pandas DataFrame 中有一个字段以字符串格式导入。

它应该是一个日期时间变量。如何将其转换为日期时间列，然后根据日期进行过滤？

例子：

raw_data = pd.DataFrame({'Mycol': ['05SEP2014:00:00:00.000']})

Answer 1

使用 to_datetime 函数，指定格式来匹配您的数据。

df['Mycol'] = pd.to_datetime(df['Mycol'], format='%d%b%Y:%H:%M:%S.%f')

Answer 2

如果您有多于一列需要转换，您可以执行以下操作：

df[["col1", "col2", "col3"]] = df[["col1", "col2", "col3"]].apply(pd.to_datetime)

Answer 3

编辑：建议使用 pd.to_datetime() 而不是这个，因为 .apply() 通常速度较慢。

您可以使用 DataFrame 方法 .apply( ) 对 Mycol 中的值进行操作：

>>> df = pd.DataFrame(['05SEP2014:00:00:00.000'], columns=['Mycol'])
>>> df
                    Mycol
0  05SEP2014:00:00:00.000
>>> import datetime as dt
>>> df['Mycol'] = df['Mycol'].apply(lambda x: 
...     dt.datetime.strptime(x, '%d%b%Y:%H:%M:%S.%f'))
>>> df
       Mycol
0 2014-09-05

Answer 4

使用 pandas to_datetime 函数将该列解析为 DateTime。此外，通过使用 infer_datetime_format=True，它将自动检测格式并将提到的列转换为 DateTime。

import pandas as pd
raw_data['Mycol'] = pd.to_datetime(raw_data['Mycol'], infer_datetime_format=True)

Answer 5

节省时间：

raw_data['Mycol'] = pd.to_datetime(raw_data['Mycol'])

Answer 6

设置正确的 format= 比让 pandas 找出来要快得多¹

长话短说，从一开始就传递正确的 format=，如 < a href="https://stackoverflow.com/a/26763793/19123103">chrisb 的帖子 比让 pandas 弄清楚格式要快得多，特别是当格式包含 时间 组件时。大于 10k 行的数据帧的运行时差异是巨大的（大约快 25 倍，所以我们说的是几分钟而不是几秒钟）。所有有效的格式选项均可在 https://strftime.org/ 中找到。

errors='coerce' 很有用

如果某些行的格式不正确或根本不是日期时间，errors= 参数非常有用，这样您就可以可以转换有效行和句柄稍后包含无效值的行。

df['date'] = pd.to_datetime(
    df['date'], format='%d%b%Y:%H:%M:%S.%f', errors='coerce')

# for multiple columns
df[['start', 'end']] = df[['start', 'end']].apply(
    pd.to_datetime, format='%d%b%Y:%H:%M:%S.%f', errors='coerce')

静音 SettingWithCopyWarning

顺便说一句，如果您收到此警告，则意味着您的数据框可能是通过过滤另一个数据框创建的。启用写时复制就可以了。 （有关更多信息，请参阅这篇文章）。

pd.set_option('copy_on_write', True)
df['date'] = pd.to_datetime(df['date'], format='%d%b%Y:%H:%M:%S.%f')

---

¹ 用于生成 timeit 测试图的代码。

import perfplot
from random import choices
from datetime import datetime

mdYHMSf = range(1,13), range(1,29), range(2000,2024), range(24), *[range(60)]*2, range(1000)
perfplot.show(
    kernels=[lambda x: pd.to_datetime(x), 
             lambda x: pd.to_datetime(x, format='%m/%d/%Y %H:%M:%S.%f'), 
             lambda x: pd.to_datetime(x, infer_datetime_format=True),
             lambda s: s.apply(lambda x: datetime.strptime(x, '%m/%d/%Y %H:%M:%S.%f'))],
    labels=["pd.to_datetime(df['date'])", 
            "pd.to_datetime(df['date'], format='%m/%d/%Y %H:%M:%S.%f')", 
            "pd.to_datetime(df['date'], infer_datetime_format=True)", 
            "df['date'].apply(lambda x: datetime.strptime(x, '%m/%d/%Y %H:%M:%S.%f'))"],
    n_range=[2**k for k in range(20)],
    setup=lambda n: pd.Series([f"{m}/{d}/{Y} {H}:{M}:{S}.{f}" 
                               for m,d,Y,H,M,S,f in zip(*[choices(e, k=n) for e in mdYHMSf])]),
    equality_check=pd.Series.equals,
    xlabel='len(df)'
)

---

如果该列包含多种格式，请参阅将混合格式字符串列转换为日期时间 Dtype。

Answer 7

就像我们将对象数据类型转换为 float 或 int 一样，使用 astype ()。

raw_data['Mycol'] = raw_data['Mycol'].astype('datetime64[ns]')