PROSAGA码农传奇-分布式计算-我可以用Parallel Computing读取一个巨大的文本文件吗？

我可以用Parallel Computing读取一个巨大的文本文件吗？

作者: v-star*위위
发布时间: 2024-12-27 08:49:24 (2月前)
转自：

<div class =“post-text”itemprop =“text”>
  
    一些matlab的内置函数支持多线程 - 列表是
    <a href="http://www.mathworks.com/support/solutions/en/data/1-4PG4AN/" rel="nofollow">
      这里
    </A>
    。不需要Parallel Computing工具箱。
  
  
    如果“使用l做某事”可以从工具箱中受益，只需在读取另一行之前实现该功能。
  
  
    您也可以使用读取整个文件
  
   <pre>
 <code>
 fid = fopen('textfile.txt');
C = textscan(fid,'%s','delimiter','\n');
fclose(fid);

</code>
 </pre>
  
    然后并行计算C中的单元格。
  
  <HR />
  
    如果阅读时间是一个关键问题，您可能还想访问a中的部分数据文件
     <code>
 parfor
 </code>
     环。这是一个例子
    <a href="http://www.mathworks.com/matlabcentral/newsreader/view_thread/307594#835402" rel="nofollow">
      Edric M Ellis
    </A>
    。
  
   <pre>
 <code>
 %Some data
x = rand(1000, 10);
fh = fopen( 'tmp.bin', 'wb' );
fwrite( fh, x, 'double' );
fclose( fh );

% Read the data
y = zeros(1000, 10);
parfor ii = 1:10
    fh = fopen( 'tmp.bin', 'rb' );
    % Get to the correct spot in the file:
    offset_bytes = (ii-1) * 1000 * 8; % 8 bytes/double
    fseek( fh, offset_bytes, 'bof' );
    % read a column
    y(:,ii) = fread( fh, 1000, 'double' );
    fclose( fh );
end

% Check
assert( isequal( x, y ) );

</code>
 </pre>
</DIV>