注册
登录
Caffe
caffe:如果只有一小部分内存可以怎么办?
返回
caffe:如果只有一小部分内存可以怎么办?
作者:
狗头军师
发布时间:
2024-09-04 03:27:51 (1月前)
我正在尝试训练一个非常大的模型。因此,我只能将非常小的批处理大小放入GPU内存中。使用小批量处理会产生非常嘈杂的梯度估计。
我该怎么做才能避免这个问题?
收藏
举报
2 条回复
1#
回复此人
v-star*위위
|
2020-07-30 14-55
您可以更改iter_size求解器参数。Caffe 在每个随机梯度下降步骤中的iter_sizex个batch_size实例上累积梯度。因此,iter_size由于内存有限而无法使用大的batch_size时,增加也可以获得更稳定的渐变。
编辑
登录
后才能参与评论