我还没有看到任何东西 的 自动 强> 然而,分裂(仍然在狩猎自己),一个想法就是勾结 Variable Collections
Variable Collections
由于TensorFlow程序的断开连接部分可能想要创建变量,因此有一种方法可以访问所有变量。出于这个原因,TensorFlow提供了收藏......
特别关注 class VariableV1(Variable) ...
class VariableV1(Variable)
......线 1511 - 1512 ...
1511
1512
if collections is None: collections = [ops.GraphKeys.GLOBAL_VARIABLES]
......和线 1528 - 1530 ...
1528
1530
self._trainable = trainable if trainable and ops.GraphKeys.TRAINABLE_VARIABLES not in collections: collections = list(collections) + [ops.GraphKeys.TRAINABLE_VARIABLES]
......它 也许 可以将数据拆分为可通过的变量列表 Variable Collections ,但这仍然需要将一个相当大的变量分成较小的块,这可能不是最有效的内存。
另一个想法是使用 Iterator 从您的数据源读取和解析块而不是一次加载所有内容。
Iterator
如果我设法在其他人之前找到内置的,我会更新。