Spark中DataFrame，Dataset和RDD之间的区别

作者: 只怕再见是故人
发布时间: 2024-11-10 09:32:46 (13小时前)

2 条回复

1#
回复此人
春风助手 | 2020-08-13 10-56

一个DataFrame很好的定义与谷歌搜索“ DataFrame定义”：数据框是表或二维数组状结构，其中每一列包含一个变量的度量，每一行包含一个个案。因此，DataFrame由于其表格格式而具有额外的元数据，这使得Spark可以在最终查询中运行某些优化。的RDD，另一方面，仅仅是- [R esilient d istributed d ataset是更不能作为可以针对它要执行的操作进行优化的数据的黑盒的，不作为限制。但是，你可以从一个数据帧到一个RDD通过它的rdd方法，你可以从一个去RDD到DataFrame（如果RDD是表格形式），通过该toDF方法通常，DataFrame由于内置的查询优化功能，建议尽可能使用。

编辑

登录后才能参与评论