Apache Spark 内存管理详解 - mengyidan的专栏 - 博客频道 - CSDN.pdf

立即下载 作者: 咿呀哟
上传时间: 2024-04-17
关键词: Spark 内存 管理 本文 Apache 专栏 计算 mengyidan 管理详 博客
大小 1.8 MB
描述
2017-5-1 Apache Spark 内存管理详解 - mengyidan的专栏 - 博客频道 - CSDN.NET
http://blog.csdn.net/mengyidan/article/details/69396719 1/22
mengyidan的专栏
标签： spark 内存管理 分布式计算
目录(?) [+]
 Apache Spark 内存管理详解
2017­04­06 16:49   102人阅读   评论(0)   收藏   举报
本文转载自：developerWorks 
作者：卢亮 
原文地址：https://www.ibm.com/developerworks/cn/analytics/library/ba-cn-apache-
spark-memory-management/index.html
Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。
理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳
理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于
Spark 2.1 版本，阅读本文需要读者有一定的 Spark 和 Java 基础，了解 RDD、Shuffle、JVM 等相
关概念。 
在执行 Spark 的应用程序时，Spark 集群会启动 Driver 和 Executor 两种 JVM 进程，前者为主控进
程，负责创建 Spark 上下文，提交 Spark 作业（Job），并将作业转化为计算任务（Task），在各
原创： 转载：
译文：
个人资料
 
张红月
 
访问：
积分：
等级： 
排名：
目录视图 摘要视图 订阅
登
录 | 注
册
10982次
253
千里之外
14
篇
4篇
0篇
关闭
2017-5-1 Apache Spark 内存管理详解 - mengyidan的专栏 - 博客频道 - CSDN.NET
http://blog.csdn.net/mengyidan/article/details/69396719 2/22
个 Executor 进程间协调任务的调度，后者负责在工作节点上
目录
Spark/内存/管理/本文/Apache/专栏/计算/mengyidan/管理详/博客/ Spark/内存/管理/本文/Apache/专栏/计算/mengyidan/管理详/博客/