什么决定了镶木地板文件缓冲区

作者: trpnest
发布时间: 2024-01-16 05:07:13 (4月前)
转自：

2 条回复

0#
回复此人
無口君 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 木地板编写者不关心HDFS块大小，因为您可以节省镶木地板，例如在本地硬盘上。决定单个部分的数量和大小的因素 - * .woodplas文件是数据框中的分区数（在您的情况下为64）。如果你愿意的话 <code> df.coalesce(1).write.parquet(...) </code> ，你将只有一个大部分文件。 </p> <P> 如果您希望零件文件各约为128 Mb，则coalesce参数应为20 * 64/128 = 10.虽然给定数量的合并分区依赖关系的零件文件大小不是严格线性的。部件文件的数量越少，编码/压缩效率越高。 </p> <P> 看到 <a href =“https://spark.apache.org/docs/2.4.0/api/scala/index.html#org.apache.spark.sql.Dataset@coalesce(numPartitions:Int):org.apache。 spark.sql.Dataset [T]“rel =”nofollow noreferrer“> 合并 </A> 详细方法说明 </p> </DIV>

编辑

登录后才能参与评论