PyTorch：有没有办法在CPU ram中存储模型，但是在GPU上运行大型模型的所有操作？

作者: v-star*위위
发布时间: 2025-03-10 10:09:19 (2天前)
转自：

2 条回复

0#
回复此人
仙风道骨刘憨 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 我不相信这是可能的。但是，一个简单的解决方法是将模型拆分为适合gpu内存的部分以及批量输入。 </p> <OL> <LI> 将模型的第一部分发送到gpu并计算输出 </LI> <LI> 从gpu内存释放模型的前一部分，并将模型的下一部分发送到gpu。 </LI> <LI> 将输出从1输入到模型的下一部分并保存输出。 </LI> </醇> <P> 重复1到3，直到达到模型的最终输出。 </p> </DIV>

编辑

登录后才能参与评论