使用 numpy 进行 Leaky-ReLU 反向传播

Question

我想用numpy（向前和向后传）实现泄漏的Relu激活功能，并想获得有关此实现是否正确的评论。

因此，如果x＆gt; 0 和alpha * x如果x＆lt; = 0。

这意味着，如果x＆gt; 0 和alpha如果x＆lt; = 0。

这是我的代码：

import numpy as np

alpha = 0.2
mask = None

def forward(x):
    global mask
    mask = x > 0
    ret = x
    ret[~mask] = ret[~mask] * alpha
    return ret

def backward(error):
    ret = np.ones(shape=error.shape)
    ret[~mask] = alpha
    ret = np.multiply(ret, error)
    return ret

错误是从上层向下传递的张量。