PROSAGA码农传奇-深度学习-避免在numpy和mxnet之间进行数组转换时复制

<div class =“post-text”itemprop =“text”>
  
    我想出了一个实现这个目标的hacky方法。这是一个小例子。
  
   <pre>
 <code>
 from ctypes import *
import numpy as np
import mxnet as mx

m = mx.ndarray.zeros((4,4))
m.wait_to_read() # make sure the data is allocated

c_uint64_p = POINTER(c_uint64)

handle= cast(m.handle, c_uint64_p) # NDArray*
ptr_ = cast(handle[0], c_uint64_p) # shared_ptr<Chunk>
dptr = cast(ptr_[0], POINTER(c_float)) # shandle.dptr

n = np.ctypeslib.as_array(dptr, shape=(4,4)) # m and n will share buffer

</code>
 </pre>
  
    我通过查看MxNet C ++源代码得出了上面的代码。一些解释：
  
  
    首先，请注意
     <code>
 NDArray.handle
 </code>
     属性。它是
     <code>
 c_void_p
 </code>
    。阅读python源代码，你就会知道它
     <code>
 NDArrayHandle
 </code>
    。现在深入了解
     <code>
 src/c_api/c_api_ndarray.cc
 </code>
     代码，它被重新解释为
     <code>
 NDArray*
 </code>
    。
  
  
    在源代码树中，转到
     <code>
 include/mxnet/ndarray.h
 </code>
     并找到
     <code>
 NDArray
 </code>
     类。第一个字段是：
  
   <pre>
 <code>
 /*! \brief internal data of NDArray */
std::shared_ptr<Chunk> ptr_{nullptr};

</code>
 </pre>
  
    检查
     <code>
 Chunk
 </code>
    ，这是一个在里面定义的结构
     <code>
 NDArray
 </code>
    ， 我们看：
  
   <pre>
 <code>
 /*! \brief the real data chunk that backs NDArray */
 // shandle is used to store the actual values in the NDArray
 // aux_handles store the aux data(such as indices) if it's needed by non-default storage.
 struct Chunk {
 /*! \brief storage handle from storage engine.
 for non-default storage, shandle stores the data(value) array.
 */
 Storage::Handle shandle;

</code>
 </pre>
  
    最后，
     <code>
 shandle
 </code>
     定义于
     <code>
 include/mxnet/storage.h
 </code>
    ：
  
   <pre>
 <code>
 struct Handle {
 /*!
 * \brief Pointer to the data.
 */
 void* dptr{nullptr};

</code>
 </pre>
  
    写一个小程序显示
     <code>
 sizeof(shared_ptr<some_type>)
 </code>
     是16.基于
    <a href="https://stackoverflow.com/questions/9200664/how-is-the-stdtr1shared-ptr-implemented">
      这个
    </A>
     问题，我们可以猜到
     <code>
 shared_ptr
 </code>
     由两个指针组成。找出第一个指针是指向数据的指针并不难。把所有东西放在一起，所需要的只是两个指针去参考。
  
  <HR />
  
    在下层站点，此方法不能在生产环境或大型项目中使用。它可能会在未来发布时破坏，或者引入棘手的漏洞和安全漏洞。
  
</DIV>