从 Python 中的 numpy 数组中删除 NaN（或其他值）的元素对

Question

我在 numpy 中有一个包含两列的数组。例如：

a = array([[1, 5, nan, 6],
           [10, 6, 6, nan]])
a = transpose(a)

我想有效地迭代两列 a[:, 0] 和 a[:, 1] 并删除满足特定条件的任何对，在本例中如果它们是 NaN。我能想到的明显方法是：

new_a = []
for val1, val2 in a:
  if val2 == nan or val2 == nan:
    new_a.append([val1, val2])

但这看起来很笨拙。执行此操作的 pythonic numpy 方法是什么？

谢谢。

Answer 1

如果您只想获取没有 NAN 的行，那么这就是您需要的表达式：

>>> import numpy as np
>>> a[~np.isnan(a).any(1)]
array([[  1.,  10.],
       [  5.,   6.]])

如果您想要其元素中没有特定数字的行，例如 5：

>>> a[~(a == 5).any(1)]
array([[  1.,  10.],
       [ NaN,   6.],
       [  6.,  NaN]])

后者显然相当于

>>> a[(a != 5).all(1)]
array([[  1.,  10.],
       [ NaN,   6.],
       [  6.,  NaN]])

Explanation< /强>：
让我们首先创建示例输入

>>> import numpy as np
>>> a = np.array([[1, 5, np.nan, 6],
...               [10, 6, 6, np.nan]]).transpose()
>>> a
array([[  1.,  10.],
       [  5.,   6.],
       [ NaN,   6.],
       [  6.,  NaN]])

这确定哪些元素是 NAN

>>> np.isnan(a)
array([[False, False],
       [False, False],
       [ True, False],
       [False,  True]], dtype=bool)

这确定哪些行具有任何为 True 的元素

>>> np.isnan(a).any(1)
array([False, False,  True,  True], dtype=bool)

因为我们不需要这些元素，所以我们否定最后一个表达式：

>>> ~np.isnan(a).any(1)
array([ True,  True, False, False], dtype=bool)

最后我们使用布尔数组来选择我们想要的行：

>>> a[~np.isnan(a).any(1)]
array([[  1.,  10.],
       [  5.,   6.]])

Answer 2

您可以将数组转换为 屏蔽数组，并使用 < a href="http://docs.scipy.org/doc/numpy/reference/routines.ma.html#to-a-ndarray" rel="nofollow noreferrer">compress_rows 方法：

import numpy as np
a = np.array([[1, 5, np.nan, 6],
           [10, 6, 6, np.nan]])
a = np.transpose(a)
print(a)
# [[  1.  10.]
#  [  5.   6.]
#  [ NaN   6.]
#  [  6.  NaN]]
b=np.ma.compress_rows(np.ma.fix_invalid(a))
print(b)
# [[  1.  10.]
#  [  5.   6.]]

Answer 3

不要偏离 ig0774 的答案，这是完全有效且 Pythonic 的，实际上是用普通 Python 执行这些操作的正常方法，但是：numpy 支持布尔索引系统，也可以完成这项工作。

new_a = a[(a==a).all(1)]

我不确定哪种方式会更有效（或执行速度更快）。

如果您想使用不同的条件来选择行，则必须进行更改，具体更改方式取决于条件。如果可以独立评估每个数组元素，您可以将 a==a 替换为适当的测试，例如消除所有数字大于 100 的行，您可以这样做

new_a = a[(a<=100).all(1)]

但是如果如果您尝试做一些涉及一行​​中所有元素的奇特事情（例如消除总和超过 100 的所有行），则可能会更复杂。如果是这样，如果您想分享您的确切情况，我可以尝试编辑更具体的答案。

Answer 4

我认为 列表推导式 应该做到这一点。例如，

new_a = [(val1, val2) for (val1, val2) in a if math.isnan(val1) or math.isnan(val2)]