HBase与Hadoop / HDFS之间的区别

作者: 狗头军师
发布时间: 2025-01-22 07:51:55 (4天前)

2 条回复

1#
回复此人
v-star*위위 | 2020-08-17 16-19

Hadoop基本上是三件事，一个是FS（Hadoop分布式文件系统），一个计算框架（MapReduce）和一个管理网桥（另一个资源协商者）。HDFS允许您以分布式（提供更快的读/写访问）和冗余（提供更好的可用性）的方式存储大量数据。而且MapReduce允许您以分布式和并行的方式处理这些庞大的数据。但是MapReduce不仅限于HDFS。作为FS，HDFS缺乏随机读取/写入功能。这对于顺序数据访问很有用。这就是HBase发挥作用的地方。它是一个NoSQL数据库，它在Hadoop集群上运行，并为您提供对数据的随机实时读写访问。您可以在Hadoop和HBase中存储结构化和非结构化数据。两者都为您提供了多种访问数据的机制，例如Shell和其他API。并且，HBase以列方式将数据存储为键/值对，而HDFS将数据存储为平面文件。这两个系统的一些显着特征是： Hadoop的针对大型文件的流访问进行了优化。遵循一次写入多次读取的思想。不支持随机读/写。 HBase的以列形式存储键/值对（列作为列族组合在一起）。提供对大型数据集中的少量数据的低延迟访问。提供灵活的数据模型。 Hadoop最适合用于离线批处理，而HBase在您有实时需求时使用。类似的比较将在MySQL和Ext4之间进行。

编辑

登录后才能参与评论