熊猫动态替换NAN值

Question

我有一个看起来像这样的数据框：

df = pd.DataFrame({'a':[1,2,np.nan,1,np.nan,np.nan,4,2,3,np.nan], 
    'b':[4,2,3,np.nan,np.nan,1,5,np.nan,5,8]
})

   a    b
0  1.0  4.0
1  2.0  2.0
2  NaN  3.0
3  1.0  NaN
4  NaN  NaN
5  NaN  1.0
6  4.0  5.0
7  2.0  NaN
8  3.0  5.0
9  NaN  8.0

我想动态替换NAN值。我尝试使用（df.ffill（）+df.bfill（））/2，但这不会产生所需的输出，因为它会一次将填充值投入到整列，而不是当时动态。我已经尝试了插值，但对于非线性数据不太好。

我已经看过此答案< /a>，但不完全理解它，不确定它是否有效。

值的计算更新
我希望每个NAN值是上一个非NAN值的均值。如果顺序有超过1 nan的值，我想一次替换一个值，然后计算平均值，例如，如果有1个，np.nan，np.nan，4，我首先想要1的平均值第一个NAN值的4（2.5） - 获得1,2.5，NP.Nan，4-，然后第二个NAN将是2.5和4的平均值，达到1,2.5,3.25,4

所需的输出为1,2.5,3.25,4

    a    b
0  1.00  4.0
1  2.00  2.0
2  1.50  3.0
3  1.00  2.0
4  2.50  1.5
5  3.25  1.0
6  4.00  5.0
7  2.00  5.0
8  3.00  5.0
9  1.50  8.0

Answer 1

受@ye olde noobe答案的启发（感谢他！）：

我已经对其进行了优化，以使其更快地（以下下面的比较）：

def custom_fillna(s:pd.Series):
  for i in range(len(s)):
    if pd.isna(s[i]):
      last_valid_number = (s[s[:i].last_valid_index()] if s[:i].last_valid_index() is not None else 0)
      next_valid_numer = (s[s[i:].first_valid_index()] if s[i:].first_valid_index() is not None else 0)
      s[i] = (last_valid_number+next_valid_numer)/2

custom_fillna(df['a'])
df

时代比较：

< a href =“ https://i.sstatic.net/ewuea.png” rel =“ nofollow noreferrer”>

Answer 2

也许不是最优化的，但它有效（注意：从您的示例中，我假设如果NAN之前或之后没有有效的值，例如A列上的最后一行，0用作替换）：

import pandas as pd

def fill_dynamically(s: pd.Series):
    for i in range(len(s)):
        s[i] = (
            (0 if s[i:].first_valid_index() is None else s[i:][s[i:].first_valid_index()]) +
            (0 if s[:i+1].last_valid_index() is None else s[:i+1][s[:i+1].last_valid_index()])
        ) / 2

使用这样的使用对于完整的DataFrame：

df = pd.DataFrame({'a':[1,2,np.nan,1,np.nan,np.nan,4,2,3,np.nan], 
    'b':[4,2,3,np.nan,np.nan,1,5,np.nan,5,8]
})

df.apply(fill_dynamically)

DF申请后：

      a    b
0  1.00  4.0
1  2.00  2.0
2  1.50  3.0
3  1.00  2.0
4  2.50  1.5
5  3.25  1.0
6  4.00  5.0
7  2.00  5.0
8  3.00  5.0
9  1.50  8.0

如果您将拥有其他列，并且不想在整个数据框架上应用，则当然可以在单列上使用它，例如：

df = pd.DataFrame({'a':[1,2,np.nan,1,np.nan,np.nan,4,2,3,np.nan], 
    'b':[4,2,3,np.nan,np.nan,1,5,np.nan,5,8]
})

fill_dynamically(df['a'])

在这种情况下，DF看起来像那：

      a    b
0  1.00  4.0
1  2.00  2.0
2  1.50  3.0
3  1.00  NaN
4  2.50  NaN
5  3.25  1.0
6  4.00  5.0
7  2.00  NaN
8  3.00  5.0
9  1.50  8.0