spark性能优化.pdf

立即下载 作者: 滔滔江水
上传时间: 2025-03-16
关键词: 资源    spark 性能 executor 分配     配置 提升 内存
大小 1.2 MB
描述
spark性能优化点
1. 分配更多的资源
 
1.1 分配哪些资源
 
1.2 在哪里可以设置这些资源
 
1.3 参数调节到多大，算是最大
分配更多的资源：
它是性能优化调优的王道，就是增加和分配更多的资源，这对于性能和速度上的提升是显而易见的，    
基本上，在一定范围之内，增加资源与性能的提升，是成正比的；写完了一个复杂的spark作业之后，进行性能调
优的时候，首先第一步，就是要来调节最优的资源配置；在这个基础之上，如果说你的spark作业，能够分配的资源达到
了你的能力范围的顶端之后，无法再分配更多的资源了，公司资源有限；那么才是考虑去做后面的这些性能调优的点。
    
 
相关问题：
（1）分配哪些资源？
（2）在哪里可以设置这些资源？
（3）剖析为什么分配这些资源之后，性能可以得到提升？
    
executor‐memory、executor‐cores、driver‐memory
在实际的生产环境中，提交spark任务时，使用spark‐submit shell脚本，在里面调整对应的参数。
    
 提交任务的脚本:
 spark‐submit \
 ‐‐master spark://node1:7077 \
 ‐‐class cn.itcast.WordCount \
 ‐‐num‐executors 3 \    配置executor的数量
 ‐‐driver‐memory 1g \   配置driver的内存（影响不大）
 ‐‐executor‐memory 1g \ 配置每一个executor的内存大小
 ‐‐executor‐cores 3 \   配置每一个executor的cpu个数
 /export/servers/wordcount.jar
 
 
1.4 为什么调大资源以后性能可以提升
2. 提高并行度
2.1 Spark的并行度指的是什么
 第一种情况：standalone模式
  先计算出公司spark集群上的所有资源 每台节点的内存大小和cpu核数，   
  比如：一共有20台worker节点，每台节点8g内存，10个cpu。   
  实际任务在给定资源的时候，可以给20个executor、每个ex
目录
资源/  /spark/性能/executor/分配/   /配置/提升/内存/ 资源/  /spark/性能/executor/分配/   /配置/提升/内存/