Spark Streaming和Spark结构化Streaming是否使用相同的微批处理引擎？

作者: 春风助手
发布时间: 2024-04-18 11:48:57 (1天前)

2 条回复

1#
回复此人
只怕再见是故人 | 2020-08-24 16-27

Spark Streaming和Spark Structured Streaming是否使用相同的微批量调度程序引擎当然不是。它们在内部有所不同，但是在流和记录方面具有相同的高级概念。在Spark Structured Streaming中，您可以使用DataStreamWriter.foreach或DataStreamWriter.foreachBatch方法获得与Spark Streaming相同的效果。主要区别在于如何描述流传输管道。在Spark结构化流中，您可以使用Spark SQL的数据集API，而Spark流可以将其押在Spark Core的RDD API上。两者最终都基于RDD进行计算，但是Spark SQL使用更高级别的抽象（例如DatasetAPI）。他们都使用“微批处理调度程序引擎”吗？是的，但是Spark结构化流正在尝试利用一些可以连续查询的数据源（并且不进行微批处理）。 Spark结构化流的延迟是否比Spark流低？那很难回答。Spark Streaming的创建者决定开发Spark结构化Streaming，并希望在查询性能和表达能力上更好。不再建议使用Spark Streaming。

编辑

登录后才能参与评论