IOTA-Lambda 架构(IOTA)


cmwxj@126.com
2019-12-28 08:33:32 (5年前)
IOTA Lambda

Lambda 架构由Storm的作者Nathan Marz提出,其设计目的在于提供一个能满足大数据系统关键特性的架构,包括高容错、低延迟、可扩展等。其整合离线计算与实时计算,融合不可变性、读写分离和复杂性隔离等原则,可集成Hadoop, Kafka, Spark,Storm等各类大数据组件。

Lambda 架构


Lambda 架构由Storm的作者Nathan Marz提出,其设计目的在于提供一个能满足大数据系统关键特性的架构,包括高容错、低延迟、可扩展等。其整合离线计算与实时计算,融合可变性、读写分离和复杂性隔离等原则,可集成Hadoop, Kafka, SparkStorm等各类大数据组件。


Lambda 架构可分解为三层Layer,即Batch Layer, Real-Time(Speed) LayerServing Layer


Batch Layer : 存储数据集,在数据集上预先计算查询函数,并构建查询所对应的ViewBatch Layer可以很好的处理离线数据,但有很多场景数据是不断实时生成且需要实时查询处理,对于这情况, Speed Layer更为适合。


Speed Layer : Batch Layer处理的是全体数据集,而Speed Layer处理的是最近的增量数据流。Speed Layer为了效率,在接收到新的数据后会不断更新Real-time View,而Batch Layer是根据全体离线数据集直接得到Batch View


Serving Layer : Serving Layer用于合并Batch ViewReal-time View中的结果数据集到最终数据集。



推荐系统之lambda架构









0 条回复
  1. 动动手指,沙发就是你的了!
登录 后才能参与评论