2017-5-1 Apache Spark 内存管理详解 - mengyidan的专栏 - 博客频道 - CSDN.NET
http://blog.csdn.net/mengyidan/article/details/69396719 1/22
mengyidan的专栏
标签: spark 内存管理 分布式计算
目录(?) [+]
Apache Spark 内存管理详解
20170406 16:49 102人阅读 评论(0) 收藏 举报
本文转载自:developerWorks
作者:卢亮
原文地址:https://www.ibm.com/developerworks/cn/analytics/library/ba-cn-apache-
spark-memory-management/index.html
Spark 作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮演着非常重要的角色。
理解 Spark 内存管理的基本原理,有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳
理出 Spark 内存管理的脉络,抛砖引玉,引出读者对这个话题的深入探讨。本文中阐述的原理基于
Spark 2.1 版本,阅读本文需要读者有一定的 Spark 和 Java 基础,了解 RDD、Shuffle、JVM 等相
关概念。
在执行 Spark 的应用程序时,Spark 集群会启动 Driver 和 Executor 两种 JVM 进程,前者为主控进
程,负责创建 Spark 上下文,提交 Spark 作业(Job),并将作业转化为计算任务(Task),在各
原创: 转载:
译文:
个人资料
张红月
访问:
积分:
等级:
排名:
目录视图 摘要视图 订阅
登
录 | 注
册
10982次
253
千里之外
14
篇
4篇
0篇
关闭
2017-5-1 Apache Spark 内存管理详解 - mengyidan的专栏 - 博客频道 - CSDN.NET
http://blog.csdn.net/mengyidan/article/details/69396719 2/22
个 Executor 进程间协调任务的调度,后者负责在工作节点上
Spark/内存/管理/本文/Apache/专栏/计算/mengyidan/管理详/博客/
Spark/内存/管理/本文/Apache/专栏/计算/mengyidan/管理详/博客/
-->