1)我有一个带有2个数据节点的hdp集群。但复制因素对于hdfs是3.在这种情况下,第三个副本块存储在哪里?2)如果我在hdfs中上传文件(复制因子为3)…
1)由于NameNode不允许DataNode具有同一块的多个副本,因此创建的最大副本数是此时DataNode的总数。
参考: https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Simple_Coherency_Model (根据副本安置:第一个婴儿步骤)
这意味着如果您有2个数据节点,则复制因子不能为3。
2)您的文件大小将相同。但是,使用三个副本将增加您的存储开销。我的意思是如果你的文件是2 GB。您使用3个副本保持文件使用。这意味着您要为文件分配6 GB(2 GB用于原始文件,2 + 2 GB用于副本)存储空间。