将列数据框与另一个数据框映射

Question

我有一个 pandas 数据框（df1），其中有一列包含一些“NaN”值，我想将其替换为另一个数据框（df2）中的值。

这是必须映射的带有 NaN 的数据帧 (df1) 的一部分：

reporting_date_id   filing_date_id
    19910930          NaN
    19920930          NaN

这是我想用来映射的数据帧 (df2)，这有点棘手，因为它们具有与

reporting_date_id   filing_date_id
    19910930          19911118
    19920930          19921116
    19930930          19931122

我尝试执行的 相同的列名以这种方式但它似乎不起作用

for n in range(len(df1)):
    if df1['filing_date_id'].isna().loc[n]==True:
        fix_date=df2[df2['reporting_date_id']==df1['reporting_date_id'].loc[n]]['filing_date_id']
        df1['filing_date_id'].loc[n]=fix_date

Answer 1

您可以通过 reporting_date_id 映射到另一个 DataFrame。 Series.map.html" rel="nofollow noreferrer">Series.map 然后用它来替换 Series.fillna：

s = df2.set_index('reporting_date_id')['filing_date_id']
df1['filing_date_id'] = df1['filing_date_id'].fillna(df1['reporting_date_id'].map(s))

Answer 2

按索引对齐并使用 fillna。然后再次重置索引。

idx = 'reporting_date_id'
result = df1.set_index(idx).fillna(df2.set_index(idx)).reset_index()

演示：

>>> df1
   reporting_date_id  filing_date_id
0           19910930             NaN
1           19920930             NaN
>>> df2
   reporting_date_id  filing_date_id
0           19910930        19911118
1           19920930        19921116
2           19930930        19931122
>>> idx = 'reporting_date_id'
>>> result = df1.set_index(idx).fillna(df2.set_index(idx)).reset_index()
>>> result
   reporting_date_id  filing_date_id
0           19910930      19911118.0
1           19920930      19921116.0

Answer 3

更喜欢@jezrael答案，但如果您有兴趣在数据帧行上使用for循环，您可以使用下面的代码：

df1.set_index("reporting_date_id", inplace=True)
df2.set_index("reporting_date_id", inplace=True)
for index, row in df1.iterrows():
  if row["filing_date_id"] != row["filing_date_id"] or row["filing_date_id"] == None:
    df1.loc[index , "filing_date_id"] = df2.loc[index]["filing_date_id"]
df1

Output

reporting_date_idfiling_date_id	我个人
19910930	19911118
19920930	19911118

Answer 4

import pandas as pd

df1 = pd.DataFrame(
    {
        "reporting_date_id": [19910930, 19920930],
        "filing_date_id": [None, None],
    }
)
#    repdateid filing_date_id
# 0   19910930           None
# 1   19920930           None

df2 = pd.DataFrame(
    {
        "reporting_date_id": [19910930, 19920930, 19930930],
        "filing_date_id": [19911118, 19921116, 19931122],
    }
)
# repdateid  filing_date_id
# 0   19910930        19911118
# 1   19920930        19921116
# 2   19930930        19931122

result = pd.merge(df1, df2, on=["reporting_date_id", "reporting_date_id"])

result.drop(['filing_date_id_x'], axis=1)

这将保留两列，以防同一 reporting_date_id 具有不同的值。如果没有，您可以随时删除 NaN 列，就像我上面所做的那样。

输出：

   repdateid filing_date_id_x  filing_date_id_y
0   19910930             None          19911118
1   19920930             None          19921116