Hadoop namenode元数据

作者: 一号位
发布时间: 2024-06-17 01:33:17 (16天前)
转自：

7 条回复

0#
回复此人
Moso31 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <OL> <LI> 是 </LI> <LI> 不，除了块本身 </LI> <LI> 是的，如果你有很多小文件 </LI> <LI> 不，有关该文件的信息在Namenode上，文件本身在Datanodes上（理论上datanode可以在同一台机器上，通常在较小的集群上） </LI> </醇> </DIV>

编辑
1#
回复此人
我头上有犄角 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 3）当no.of文件如此庞大时，单个Namenode将无法保留所有元数据。实际上这是HDFS的局限之一。您可以检查HDFS Federation，它旨在通过拆分由不同名称节点提供服务的不同命名空间来解决此问题。 </p> <P> 4） </p> <pre> <code> Read process : a) Client first gets the datanodes where the actual data is located from the namenode b) Then it directly contacts the datanodes to read the data Write process : a) Client asks namenode for some datanodes to write the data and if available Namenode gives them b)Client goes directly to the datanodes and write </code> </pre> </DIV>

编辑
2#
回复此人
筱梨 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 对于问题4，客户端确实将数据直接写入Datanode。但是，在它可以写入DataNode之前，它需要与Namenode通信以获取metatdata，如Datanode和要写入的块。 </p> </DIV>

编辑
3#
回复此人
听风～ | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <OL> <LI> 名称节点上的fsimage采用二进制格式。使用“离线图像查看器”以人类可读的格式转储fsimage。可以使用pig或其他工具进一步分析此工具的输出，以获得更有意义的数据。 </LI> </醇> <P> <a href="http://hadoop.apache.org/hdfs/docs/r0.21.0/hdfs_imageviewer.html" rel="nofollow"> http://hadoop.apache.org/hdfs/docs/r0.21.0/hdfs_imageviewer.html </A> </p> </DIV>

编辑
4#
回复此人
v-star*위위 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 我认为以下解释可以帮助您更好地理解HDFS架构。您可以将Name节点视为FAT（文件分配表）+目录数据和数据节点为哑块设备。当您想要从常规文件系统中读取文件时，您应该转到目录，然后转到FAT，获取所有相关块的位置并阅读它们。 HDFS也是如此。当您想要读取文件时，您转到Namenode，获取给定文件所具有的列表块。有关块的信息将包含此信息所在的数据节点列表。之后，您转到datanode并从中获取相关块。 </p> </DIV>

编辑
5#
回复此人
敢嫁就敢娶 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <OL> <LI> <P> 是的，NameNode管理这些。此外，这些数据也会保存在fsimage中并编辑将在本地磁盘上的文件。 </p> </LI> <LI> <P> 不，所有元数据都将由NameNode维护。因此，维护元数据的datanode负担将更少。 </p> </LI> <LI> <P> 将只有一个主NameNode。正如我所说，管理元数据大小的限制，数据将经常保存在fsimage中并通过检查点进行编辑。 </p> </LI> <LI> <P> 客户端可以在从NameNode获取文件信息后联系DataNode。 </p> </LI> </醇> </DIV>

编辑

登录后才能参与评论