Hadoop-YARN-基本架构和发展趋势.pdf

立即下载 作者: 布偶的表弟派大星丶
上传时间: 2024-04-13
关键词: YARN Hadoop dongxicheng.org hadoop123.com 计算 架构 计算框 框架 运行 趋势
大小 1.4 MB
描述
hadoop123.com
Hadoop YARN
基本架构和发展趋势
董西成
email ：dongxicheng@yahoo.com
微信号：hadoop-123 [口号：做微信上最好的hadoop技术传播者]
dongxicheng.org
dongxicheng.org
主要内容
hadoop123.com
Hadoop YARN产生背景 1
Hadoop YARN基本架构 2
运行在YARN上的计算框架 3
YARN发展趋势 4
dongxicheng.org
hadoop123.com
Hadoop YARN产生背景 1
Hadoop YARN基本架构 2
运行在YARN上的计算框架 3
YARN发展趋势 4
主要内容
dongxicheng.org
Hadoop YARN产生背景
hadoop123.com
 直接源于MRv1在几个方面的缺陷
扩展性受限
单点故障
难以支持MR之外的计算
 多计算框架各自为战，数据共享困难
MR：离线计算框架
 Storm：实时计算框架
 Spark：内存计算框架
dongxicheng.org
Hadoop 1.0和2.0
hadoop123.com
 Hadoop 2.0由HDFS、MapReduce和YARN三个分支构成；
 HDFS：NN Federation、HA；
 MapReduce：运行在YARN上的MR；
 YARN：资源管理系统
dongxicheng.org
主要内容
hadoop123.com
Hadoop YARN产生背景 1
Hadoop YARN基本架构 2
运行在YARN上的计算框架 3
YARN发展趋势 4
dongxicheng.org
Hadoop YARN基本架构
hadoop123.com
dongxicheng.org
Hadoop YARN各模块组成
 ResourceManager
 处理客户端请求
 启动/监控Applic
目录
YARN/Hadoop/dongxicheng.org/hadoop123.com/计算/架构/计算框/框架/运行/趋势/ YARN/Hadoop/dongxicheng.org/hadoop123.com/计算/架构/计算框/框架/运行/趋势/