用于加密推理的单个relu层的乘法深度是什么?

发布于 2025-02-13 05:59:51 字数 104 浏览 3 评论 0原文

对于单平方激活(X^2),乘法深度为1,对于X^3 + X等多项式激活,乘法深度为2。

对于卷积(WX + B),乘法深度为1。

什么是。一个单一的relu层的深度?

For a single square activation (x^2), the multiplicative depth is 1, and for a polynomial activation like x^3 + x, the multiplicative depth is 2.

For a convolution (wx + b), multiplicative depth is 1.

What's the depth for a single ReLU layer?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

峩卟喜欢 2025-02-20 05:59:51

relu不是真实物质上的多项式函数,因此对relu的精确计算具有无限的深度。可以通过多种方式消除此问题。一种选择是用其他功能替换relu,例如平方激活。另一个选择是使用多项式近似relu。另一个选择是使用数字的基本-2表示,并将Relu作为逻辑函数,而不是将其计算为算术函数。可能存在其他选项。

ReLU is not a polynomial function over the reals and therefore an exact computation of the ReLU has infinite depth. This problem can be eliminated in several ways. One option is to replace ReLU by some other function such as the square activation. Another option is to approximate the ReLU using a polynomial. Yet another option is to use the base-2 representation of numbers and compute ReLU as a logic function instead of computing it as an arithmetic function. Other options may exist.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文