具有partial_fit（）的MLP比监督分类中的fit（）表现更差

作者: 日耀九洲
发布时间: 2025-01-16 04:59:31 (25天前)
转自：

2 条回复

0#
回复此人
咿呀哟 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> TL，DR：以较小的学习率和不同的观察顺序对您的数据进行多次循环，以及您的 <code> partial_fit </code> 会表现得很好 <code> fit </code> 。 </p> <P> 这个问题 <code> partial_fit </code> 有许多块是当你的模型完成最后一个块时，它可能会忘记第一个块。这意味着，由于早期批次而导致的模型权重的变化将被后期批次完全覆盖。 </p> <P> 但是，通过以下组合可以很容易地解决这个问题： </p> <OL> <LI> 的<strong> 学习率低 </强> 。如果模型慢慢学习，那么它也会慢慢忘记，并且早期批次不会被后期批次覆盖。默认学习率 <code> MLPClassifier </code> 是0.001，但您可以将它改为3或10的倍数，看看会发生什么。 </LI> <LI> 的<strong> 多个时代 </强> 。如果学习速度很慢，则所有训练样本上的一个循环可能不足以使模型收敛。因此，您可以对训练数据进行多次循环，结果很可能会得到改善。直观的策略是通过降低学习速率的相同因素来增加循环次数。 </LI> <LI> 的<strong> 洗牌观察 </强> 。如果狗的图像在您的数据中出现在猫的图像之前，那么最终模型将记住关于猫的更多信息而不是狗。但是，如果您在批处理生成器中以某种方式对观察点进行洗牌，则不会出现问题。最安全的策略是在每个时代之前重新重新调整数据。 </LI> </醇> </DIV>

编辑

登录后才能参与评论