在python3中的多进程之间共享python对象

作者: 一腔诗意喂了狗
发布时间: 2024-06-11 03:04:08 (24天前)
转自：

3 条回复

0#
回复此人
v-star*위위 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 我认为，要将数据（特别是大型numpy数组）传递给子进程 <a href="https://mpi4py.scipy.org/docs/usrman/tutorial.html" rel="nofollow noreferrer"> mpi4py </A> 可以非常高效，因为我可以直接在缓冲区对象上工作。 </p> <P> 可以找到使用mpi4py生成进程并进行通信的示例（也使用trio，但这是另一个故事） <a href="https://stackoverflow.com/a/51178108/1779806"> 这里 </A> 。 </p> </DIV>

编辑
1#
回复此人
只怕再见是故人 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 五个月前我在你的地方。我环顾了好几次，但我的结论是使用Python进行多处理，这完全是你描述的问题： </p> <UL> <LI> 管道和队列很好但不适合我的经验 </LI> <LI> 除了数组之外，Manager（）代理对象很慢，而且这些对象是有限的。如果你想共享一个复杂的数据结构，请使用像这样完成的命名空间： <a href="https://stackoverflow.com/questions/22487296/multiprocessing-in-python-sharing-large-object-e-g-pandas-dataframe-between"> python中的多处理 - 在多个进程之间共享大对象（例如pandas dataframe） </A> </LI> <LI> Manager（）有一个您正在寻找的共享列表： <a href="https://docs.python.org/3.6/library/multiprocessing.html" rel="nofollow noreferrer"> https://docs.python.org/3.6/library/multiprocessing.html </A> </LI> <LI> Python中没有指针或实际内存管理，因此您无法共享选定的内存单元 </LI> </UL> <P> 我通过学习C ++解决了这个问题，但它可能不是你想读的...... </p> </DIV>

编辑

登录后才能参与评论