hdfs原理、架构与特性介绍
立即下载
v-star*위위
2024-05-02
文件
node
Editlog
HDFS
FsImage
Node
数据
系统
目录
内存
28.7 KB
HDFS 原理、架构与特性介绍
本文主要讲述 HDFS 原理 -架构、副本机制、 HDFS 负
载均衡、机架感知、健壮性、文件删除恢复机制
1：当前 HDFS 架构详尽分析
HDFS 架构
·NameNode
·DataNode
·Sencondary NameNode
数据存储细节 NameNode 目录结构
Namenode 的目录结构：
${ dfs.name.dir}/current /VERSION
/edits
/fsimage
/fstime
dfs.name.dir 是 hdfs-site.xml 里配置的若干个目录组
成的列表。
NameNode
Namenode 上保存着 HDFS 的名字空间。
对于任何对文件系统元数据产生修改的操作， Namenode
都会使用一种称为 EditLog 的事务日志记录下来。 例如，在
HDFS 中创建一个文件， Namenode 就会在 Editlog 中插
入一条记录来表示；同样地，修改文件的副本系数也将往
Editlog 插入一条记录。 Namenode 在本地操作系统的文件
系统中存储这个 Editlog 。整个文件系统的名 字空间，包
括数据块到文件的映射、文件的属性等，都存储在一个称为
FsImage 的文件中，这 个文件也是放在 Namenode 所在
的本地文件系统上。
Namenode 在内存中保存着整个文件系统
的名字空间和文件数据块映射 (Blockmap) 的映像 。这个
关键的元数据结构设计得很紧凑，因而一个有 4G 内存的
Namenode 足够支撑大量的文件 和目录。当 Namenode
启动时，它从硬盘中读取 Editlog 和 FsImage ，将所有
Editlog 中的事务作 用在内存中的 FsImage 上，并将这个
新版本的 FsImage 从内存中保存到本地磁盘上，然后删除
旧的 Editlog ，因为这个旧的 Editlog 的事务都已经作用在
FsImage 上了。这个过程称为一个检查 点 (checkpoint) 。
在当前实现中，检查点只发生在 Namenode 启动时，在不
久的将来将实现支持 周期性的检查点。
HDFS NameSpace
HDFS 支持传统的
文件/node/Editlog/HDFS/FsImage/Node/数据/系统/目录/内存/
文件/node/Editlog/HDFS/FsImage/Node/数据/系统/目录/内存/
-->