HDFS是什么

立即下载 作者: NetworkAttachedStorage
上传时间: 2025-04-09
关键词: 数据 文件 节点 系统 保存 存储 HDFS 元数据 命名 node
大小 1,019.2 KB
描述
1 / 6
HDFS 是什么
一、 HDFS 的基本概念
1.1、数据块 (block)
HDFS(Hadoop Distributed File System) 默认的最基本的存储单位是 64M 的数据块。
和普通文件系统相同的是， HDFS 中的文件是被分成 64M 一块的数据块存储的。
不同于普通文件系统的是， HDFS 中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。
1.2、元数据节点 (Namenode) 和数据节点 (datanode)
元数据节点用来管理文件系统的命名空间
o 其将所有的文件和文件夹的元数据保存在一个文件系统树中。
o 这些信息也会在硬盘上保存成以下文件：命名空间镜像 (namespace image) 及修改日志 (edit log)
o 其还保存了一个文件包括哪些数据块，分布在哪些数据节点上。然而这些信息并不存储在硬盘上，而是在
系统启动的时候从数据节点收集而成的。
数据节点是文件系统中真正存储数据的地方。
o 客户端 (client) 或者元数据信息 (namenode) 可以向数据节点请求写入或者读出数据块。
o 其周期性的向元数据节点回报其存储的数据块信息。
从元数据节点 (secondary namenode)
o 从元数据节点并不是元数据节点出现问题时候的备用节点，它和元数据节点负责不同的事情。
o 其主要功能就是周期性将元数据节点的命名空间镜像文件和修改日志合并，以防日志文件过大。这点在下
面会相信叙述。
o 合并过后的命名空间镜像文件也在从元数据节点保存了一份，以防元数据节点失败的时候，可以恢复。
1.1.1.1 1.2.1、元数据节点文件夹结构
VERSION 文件是 java properties 文件，保存了 HDFS 的版本号。
o layoutVersion 是一个负整数，保存了 HDFS 的持续化在硬盘上的数据结构的格式版本号。
o namespaceID 是文件系统的唯一标识符，是在文件系统初次格式化时生成的。
o cTime 此处为 0
o storageType 表示此文件夹中保存的是元数据节点的数据结构。
namespaceID=1232737062
cTime=0
storageType=NAME_NODE
目录
数据/文件/节点/系统/保存/存储/HDFS/元数据/命名/node/ 数据/文件/节点/系统/保存/存储/HDFS/元数据/命名/node/