用于加密推理的单个relu层的乘法深度是什么?
对于单平方激活(X^2),乘法深度为1,对于X^3 + X等多项式激活,乘法深度为2。
对于卷积(WX + B),乘法深度为1。
什么是。一个单一的relu层的深度?
For a single square activation (x^2), the multiplicative depth is 1, and for a polynomial activation like x^3 + x, the multiplicative depth is 2.
For a convolution (wx + b), multiplicative depth is 1.
What's the depth for a single ReLU layer?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
relu不是真实物质上的多项式函数,因此对relu的精确计算具有无限的深度。可以通过多种方式消除此问题。一种选择是用其他功能替换relu,例如平方激活。另一个选择是使用多项式近似relu。另一个选择是使用数字的基本-2表示,并将Relu作为逻辑函数,而不是将其计算为算术函数。可能存在其他选项。
ReLU is not a polynomial function over the reals and therefore an exact computation of the ReLU has infinite depth. This problem can be eliminated in several ways. One option is to replace ReLU by some other function such as the square activation. Another option is to approximate the ReLU using a polynomial. Yet another option is to use the base-2 representation of numbers and compute ReLU as a logic function instead of computing it as an arithmetic function. Other options may exist.