TensorFlow中模型并行和流水线培训的示例代码

作者: 求赞有赞必回
发布时间: 2024-12-12 01:01:10 (1月前)
转自：

2 条回复

0#
回复此人
浮华丶 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 模型并行性是当模型的参数不适合单个GPU的内存时使用的技术。当您的模型非常复杂（多层）或某些层很大时，就会发生这种情况。通常，模型并行性是您应该仅作为最后手段使用的东西，因为它通常很慢。 </p> <P> 你的模型看起来很简单，所以我不确定你是否真的需要模型并行性（它只是一个例子？）。如果你想一次只使用一个GPU并且可以将你的所有模型都安装到单个GPU中，我不建议做模型并行。 </p> <P> 如果您确定需要模型并行性，请参阅 <a href="https://github.com/apache/incubator-mxnet/tree/master/example/model-parallel/matrix_factorization" rel="nofollow noreferrer"> 这个例子 </A> 使用Apache MXNet来做到这一点。 </p> </DIV>

编辑

登录后才能参与评论