MXNet：nn.Activation vs nd.relu？

作者: 故人
发布时间: 2025-03-10 04:09:59 (1月前)
转自：

3 条回复

0#
回复此人
浮华丶 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <a href="https://mxnet.incubator.apache.org/api/python/gluon.html#mxnet.gluon.nn.Activation" rel="nofollow noreferrer"> mx.gluon.nn.Activation </A> 环绕 <a href="https://mxnet.incubator.apache.org/api/python/ndarray.html#mxnet.ndarray.Activation" rel="nofollow noreferrer"> mx.ndarray.Activation </A> ，见 <a href="https://github.com/lupesko/incubator-mxnet/blob/master/python/mxnet/gluon/nn/basic_layers.py#L223" rel="nofollow noreferrer"> 胶子源代码 </A> 。 但是，当使用Gluon构建神经网络时，建议您使用Gluon API而不是分支以任意使用较低级别的MXNet API - 这可能会在Gluon发展并可能发生变化时出现问题（例如停止使用mx.nd在引擎盖下）。 </DIV>

编辑
1#
回复此人
啦啦啦拉肚子 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> 看起来 <pre> <code> mx.gluon.nn.Activation(activation=<act>) </code> </pre> 是一个包装器，用于从中调用一系列底层激活 <code> NDArray </code> 模块。 因此 - 原则上 - 在使用的前向定义中无关紧要 <pre> <code> x = self.ramp(x) </code> </pre> 要么 <pre> <code> x = mx.nd.relu(x) </code> </pre> 要么 <pre> <code> x = mx.nd.relu(self.ramp(x)) </code> </pre> 因为relu只是取最大值0和传递的值（因此除了轻微的运行时间增加之外，多个应用程序不会影响除单个调用之外的值）。 因此在 这个 这并不重要。当然，对于其他激活功能，堆叠多个呼叫可能会产生影响。 在他们使用的MXNets文档中 <code> nd.relu </code> 在定义时的前向定义中 <code> gluon.Block </code> 秒。这可能比使用稍微减少开销 <code> mx.gluon.nn.Activation(activation='relu') </code> 。 风味明智 <code> gluon </code> 模块意味着高级抽象。因此我认为在定义块时应该使用 <code> ramp = mx.gluon.nn.Activation(activation=<act>) </code> 代替 <code> nd.<act>(x) </code> 然后打电话 <code> self.ramp(x) </code> 在前向定义中。 但是鉴于此时所有的自定义 <code> Block </code> 教程/文档坚持 <code> relu </code> 激活，无论这是否具有持久性后果还有待观察。 一起使用 <code> mx.gluon.nn.Activation </code> 似乎是一种从中调用激活函数的方法 <code> NDArray </code> 来自的模块 <code> Gluon </code> 模块。 </DIV>

编辑

登录后才能参与评论