有没有一种安全有效的方法来仅在一天的特定时间范围内填充 pandas 中的 NaN？

Question

我知道 pandas 中的链式赋值绝对是一个热门话题，并且存在大量问题，但我仍然无法找到适合我的情况的解决方案。

我正在处理辐照度和光伏时间序列数据（带有 DateTimeIndex 的 pandas 数据框）。我的系列中有一些漏洞，有些是在夜间，有些是在白天。我想用零替换夜间的所有 NaN，因为这很有意义（夜间的辐照度和光伏发电为零）。

到目前为止我想出的是这样的：

hour_range = [*range(17, 24)] + [*range(0, 9)]
mask = df['irradiance'].isna() & df['irradiance'].index.hour.isin(hour_range)
df.loc[mask, 'irradiance'] = 0

我还尝试了其他解决方案，例如将 Between_time 与 fill_na 结合使用或直接使用 df.mask 与in_place 选项，但我不断收到可怕的 SettingWithCopyWarning。我决定不使用 Between_time 因为它不返回布尔系列并且不允许轻松组合多个条件。也许我在这一点上是错的。 我想修改 df in_place 以提高内存效率。 有更清洁、更安全的解决方案来解决我的问题吗？ 谢谢。

Answer 1

以下是如何创建时间范围（如果需要）、如何创建要操作的时间数组以及如何根据“操作时间”数组更改“数据”列的示例

import pandas as pd
import numpy as np
import datetime

#Making example data
start_date = datetime.datetime.now()
period_end_date = start_date + datetime.timedelta(hours=24)
dates = np.arange(np.datetime64(start_date), np.datetime64(period_end_date), np.timedelta64(1, 'h'), dtype='datetime64[h]')
data = np.random.randint(1, 100, 24)
df = pd.DataFrame(dates, columns = ['Dates'])
df['Data'] = data
df['Data'] = np.where(df['Data']%2 == 0, np.nan, df['Data'])

#Creating a dynamic time range and replaceing nan with "Something Else"
start_time = datetime.datetime.now() + datetime.timedelta(hours = 5)
end_time = start_time + datetime.timedelta(hours = 5)
#Creates a time range you which to manipulate
time_range = np.arange(np.datetime64(start_time), np.datetime64(end_time), np.timedelta64(1, 'h'), dtype='datetime64[h]')
#Replaces all the np.nan within the "time_range" variable with "Something Else" otherwise leave it as it is
df['Data'] = np.where((df['Dates'].isin(time_range)), df['Data'].fillna('Something Else'), df['Data'])