Spark缓存的RDD计算n次

作者: 特狼普
发布时间: 2024-08-21 03:48:23 (14天前)
转自：

3 条回复

0#
回复此人
無口君 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 好的，经过大量测试后，我终于解决了这个问题。实际上有两个问题： </p> <OL> <LI> <P> 的<strong> 我低估了输入数据的大小： </强> 星火公司 <code> cache </code> 要么 <code> persist </code> 如果RDD太大而无法完全存储在总内存的60％中，则函数效率不高，我知道但是我认为我的输入数据不是那么大但实际上我的RDD是80GB。但是我的60％的内存（160GB）仍然超过80GB，所以发生了什么？在问题n°2中回答... </p> </LI> <LI> <P> 的<strong> 我的分区太大了： </强> 在我的代码中，我的RDD的分区数设置为100，所以我有100个分区，每个1.6GB。问题是我的数据由每个数十个Megs的字符串组成，因此我的分区不满，10GB的已用内存实际上只包含7或8GB的实际数据。 </p> </LI> </醇> <P> 为了解决这些问题，我不得不使用 <code> persist(StorageLevel.MEMORY_SER) </code> 这会增加计算时间，但会大大减少内存使用量 <a href="http://sujee.net/2015/01/22/understanding-spark-caching/" rel="nofollow noreferrer"> 根据这个基准 </A> ）并将分区号设置为1000（根据Spark文档推荐分区~128MB） </p> </DIV>

编辑
1#
回复此人
一别而尽几念深i | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 你试过传递你的吗？ <code> modes.map </code> 结果成为List构造函数（即 <code> List(modes.map{ /*...*/}) </code> ）？有时（我不确定什么时候）Scala集合懒惰评估映射，所以如果直到spark删除缓存之后才对它们进行评估，那么它将不得不重新计算。 </p> </DIV>

编辑

登录后才能参与评论