PROSAGA码农传奇-存储-寻求时间对SSD上托管的HDFS有影响吗？

<div class =“post-text”itemprop =“text”>
  
    你是正确的，寻求时间不是SSD的问题。
  
  
    在HDD中，寻找时间通常在两者之间
    的
      0.2和0.8毫秒
    </强>
    。对于SSD，没有移动部件，因此寻道时间的测量仅测试准备存储设备中的存储器上的特定位置的电子电路。典型的SSD之间会有寻道时间
    的
      0.08和0.16毫秒
    </强>
    。
  
  
    但寻找时间不是决定块大小计算的唯一标准。 HDFS通常用作Hadoop等分布式系统的存储FS。 Hadoop和其他分布式处理生态系统的工作理念是
    的
      分而治之
    </强>
    。这就是将任务划分为更小的片段并在多台机器上处理它们
    的
      
        商品硬件
      
    </强>
    。
  
  
    的
      
        如果将块大小设置得过大，将会发生什么事情，因为SSD的寻道时间比HDD少一个数量级？
      
    </强>
  
  
    这实质上意味着更低的并行性。对于具有64 MB块大小的640 MB的文件，可以在10台机器之间划分的处理任务可以限制为3并行
    
      映射器
    
     块大小为256 MB。这实际上将转化为更长时间运行的任务，这最终将导致更慢的作业。当手头的任务是计算密集型过程时，事情会变得更糟。
  
  
    的
      
        如果将块大小设置得太小会发生什么事情，因为SSD的寻道时间比HDD小一个数量级？
      
    </强>
  
  <OL>
    <LI>
      现在，在这种情况下，由于块大小较低，因此会有很多任务，并且会在集群上生成大量JVM，从而导致集群利用效率低下。
    </LI>
    <LI>
      您的NameNode将被大量信息所淹没，即使对于一个小文件，也可能会创建很多块。现在可能转化为拥有更强大的NameNode或其他一些解决方案，如NameNode federarion。
    </LI>
  </醇>
  
    所以关键是肯定我有SSD。但请适当选择块大小！否则你最终会得到一个
    的
      
        慢点
      
    </强>
     具有SSD和大块大小的集群，而不是现有的HDD和
    
      适当的块大小
    
  
  
    希望有所帮助！
  
</DIV>