在AWS Emr中使用Mxnet失败的Hadoop流式传输作业

作者: 听风～
发布时间: 2024-12-11 09:47:26 (1月前)
转自：

2 条回复

0#
回复此人
一腔诗意喂了狗 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 我想出了这个问题。实际上，mxnet所期望的形状取决于数据集（它实际上取决于数据集中的最大值）。训练在单个gpu盒上进行，并具有整个数据集。然而，预测适用于单节点设置，因为它具有训练中使用的所有数据。但是，当使用多节点集群时，数据集会被拆分，这使得每个节点的max-value不同。这导致了错误。 </p> <P> 我现在已经制作了与数据集无关的预期形状，并且此错误不再发生。我希望这能澄清事情。 </p> </DIV>

编辑

登录后才能参与评论