如果一个分区丢失，我们可以使用沿袭来重建它。是否会再次加载基础RDD？

作者: 老人与海。
发布时间: 2024-11-10 09:35:06 (13小时前)
转自：

2 条回复

0#
回复此人
文艺青年 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 是的，正如您所提到的，如果用于创建分区的RDD不再在内存中，则必须再次从磁盘加载并重新计算。如果用于创建当前分区的原始RDD也不存在（无论是在内存中还是在磁盘上），那么Spark将不得不再次退回并重新计算之前的RDD。在最糟糕的情况下，Spark必须一直回到原始数据。 </p> <P> 如果你有像上面描述的那样长的血统链 <EM> 最坏的情况 </EM> 这可能意味着很长的重新计算时间，那就是你应该考虑使用的时间 <a href="https://spark.apache.org/docs/1.2.0/streaming-programming-guide.html#checkpointing" rel="nofollow"> 检查点 </A> 它将中间结果存储在可靠的存储（如HDFS）中，这会阻止Spark一直返回到原始数据源并使用检查点数据。 </p> <P> @Comment：我在查找任何官方参考资料方面遇到了问题，但是从我们记忆中的代码库中，Spark只会重新创建丢失的数据部分。 </p> </DIV>

编辑

登录后才能参与评论