MXNet HybridBlock模型并行性

作者: 子阳
发布时间: 2025-01-16 09:36:19 (1月前)
转自：

2 条回复

0#
回复此人
biu~额 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 你能告诉我你试图通过模型并行解决什么问题吗？鉴于最近的GPU，大多数模型实际上并不需要模型并行性。尝试思考是否可以使用不同的方法解决问题，例如： </p> <UL> <LI> 使用FP16。 </LI> <LI> 减少模型中参数/图层的数量。 </LI> <LI> 减小输入的大小，例如输入功能的数量。 </LI> <LI> 减少批量大小并进行数据并行化。 </LI> <LI> 将问题分解为可以单独训练的子模型。 </LI> </UL> <P> 如果上述方法都不适合您，并且您确信您确实需要模型并行性，那么这是Gluon中的一个示例代码并行模型： <a href="https://github.com/indhub/mxnet_tutorials/blob/master/model_parallelism/ModelParallelism.ipynb" rel="nofollow noreferrer"> https://github.com/indhub/mxnet_tutorials/blob/master/model_parallelism/ModelParallelism.ipynb </A> </p> <P> 如果您不理解该代码的任何部分，请询问并且我可以解释。 </p> </DIV>

编辑

登录后才能参与评论