MultiLayerNetwork可以预测简单的功能

作者: 咿呀哟
发布时间: 2025-03-10 01:02:03 (19小时前)
转自：

2 条回复

0#
回复此人
WL | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 一个明显的问题是你试图用线性模型模拟非线性函数。您的神经网络没有激活功能，因此它只能有效地表达表单的功能 <code> W1a + W2b + W3c + W4 </code> 。无论您创建了多少隐藏单位 - 只要没有使用非线性激活函数，您的网络就会退化为简单的线性模型。 </p> <H2> 更新 </H2> <P> 还有许多“小怪物”，包括但不限于： </p> <UL> <LI> 你使用巨大的学习率（0.8） </LI> <LI> 你正在使用大量的正则化（非常复杂，使用l1和l2正则化器进行回归不是一种常见的方法，特别是在神经网络中）一个你不需要的问题 </LI> <LI> 整流器单元可能不是表达平方运算的最佳单元，也可能不是您正在寻找的乘法运算。整流器非常适合分类，特别是对于更深层次的架构，但不适用于浅层回归。尝试使用sigmoid-like（tanh，sigmoid）激活。 </LI> <LI> 我不完全确定“迭代”在这个实现中意味着什么，但通常这是用于训练的样本/小批量的数量。因此，对于梯度下降学习，仅使用100可能是数量级太小 </LI> </UL> </DIV>

编辑

登录后才能参与评论