Spark——SparkContext简单分析.docx

立即下载 作者: 咿呀哟
上传时间: 2024-09-19
关键词: Spark Context Env 配置 用于 注释 分析 简单 封装 管理
大小 38.5 KB
描述
Spark——SparkContext简单分析
本篇文章就要根据源码分析SparkContext所做的一些事情，用过Spark的开发者都知道SparkContext是编写Spark程序用到的第一个类，足以说明SparkContext的重要性；这里先摘抄SparkContext源码注释来 简单介绍介绍SparkContext，注释的第一句话就是说SparkContext为Spark的主要入口点，简明扼要，如把Spark集群当作服务端那Spark Driver就是客户端，SparkContext则是客户端的核心；如注释所说 SparkContext用于连接Spark集群、创建RDD、累加器（accumlator）、广播变量（broadcast variables），所以说SparkContext为Spark程序的根本都不为过，这里使用的Spark版本为2.0.1；
　　图片来自Spark官网，可以看到SparkContext处于DriverProgram核心位置，所有与Cluster、Worker Node交互的操作都需要SparkContext来完成；
SparkContext相关组件
　　1、SparkConf
　　SparkConf为Spark配置类，配置已键值对形式存储，封装了一个ConcurrentHashMap类实例settings用于存储Spark的配置信息；配置项包括：master、appName、Jars、ExecutorEnv等等；
　　2、SparkEnv
　　SparkEnv可以说是Context中非常重要的类，它维护着Spark的执行环境，包含有：serializer、RpcEnv、block Manager、map output tracker、etc等；所有的线程都可以通过SparkCotext访问到同一个SparkEnv对象；SparkContext通过SparkEnv.createDriverEnv创建SparkEnv实例；在SparkEnv中包含了如下主要对象：
　　SecurityManager：用于对权限、账号进行管理、Hadoop YARN模式下的证书管理等；
　　RpcEnv：为Rpc环境的封装，之前使用的是Akka现在默认已经使用了Netty作为Spark的Rpc通信框架，Spark中有RpcEnvFactory trai
目录
Spark/Context/Env/配置/用于/注释/分析/简单/封装/管理/ Spark/Context/Env/配置/用于/注释/分析/简单/封装/管理/