将HBFS复制因子降低到2（或仅一个）HBase映射/降低性能的影响

作者: Charizard
发布时间: 2025-01-21 02:22:21 (1月前)
转自：

2 条回复

0#
回复此人
12345 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 这是一个难以回答的问题，因为它在很大程度上取决于您运行的工作负载。 </p> <P> 通过降低复制因子，可以加快写入操作的性能，因为数据会写入较少的DataNode。但是，正如您所指出的，您可能已经减少了局部性，因为找到具有副本并具有可用空间来执行任务的节点会更加困难。 </p> <P> 仅保留单个副本可能会对单个节点故障的影响产生强烈影响。如果单个节点终止，则在重新启动具有相同Azure托管磁盘的新节点之前，其所有数据都将不可用。如果有多个HDFS副本，则始终保持数据可用性。 </p> <P> 在Azure托管磁盘上运行HDFS DataNodes听起来有点不错。除了打破HDFS的一些核心假设（“我的磁盘可能随时出现故障”）之外，如果您的数据存储在三个副本中，那么您似乎不太可能拥有真正的数据位置。我想知道你是否考虑过： </p> <UL> <LI> 使用非托管磁盘服务。 Azure是否提供了使用未复制的磁盘的方法？这更接近于HDFS的使用方式。 <UL> <LI> 将数据存储在Azure存储（WASB或ADLS）中而不是HDFS中。这是更“云原生”的运行方式。如果发现性能不足，则可以将HDFS用于中间数据，并仅在Azure中存储最终数据。 HDFS还提供了一种通过使用来缓存来自外部存储系统的数据的方法 <a href="https://hadoop.apache.org/docs/r3.1.0/hadoop-project-dist/hadoop-hdfs/HdfsProvidedStorage.html" rel="nofollow noreferrer"> 提供存储 </A> 。 </LI> </UL> </LI> </UL> </DIV>

编辑

登录后才能参与评论