Storm并行性中的“任务”是什么

作者: 春风助手
发布时间: 2023-12-16 10:55:00 (6月前)

2 条回复

1#
回复此人
只怕再见是故人 | 2020-08-13 16-03

免责声明：我写了您在上面的问题中引用的文章。但是，我对“任务”的概念有些困惑。任务是组件（喷嘴或螺栓）的运行实例吗？具有多个任务的执行者实际上是说该执行者多次执行同一个组件，对吗？是的，是的。而且，从一般并行性的意义上讲，Storm会为喷口或螺栓生成专用线程（执行器），但是具有多个任务的执行器（线程）对并行性有何贡献？每个执行程序运行一个以上的任务不会提高并行度-执行程序始终具有一个用于其所有任务的线程，这意味着任务在执行程序上串行运行。正如我在文章中所写，请注意：启动拓扑后，可以更改执行程序线程的数量（请参阅storm rebalance命令）。拓扑的任务数是静态的。根据定义，存在的不变量#executors <= #tasks。因此，每个执行程序线程要有2个以上任务的原因之一是，使您可以灵活地storm rebalance将来通过命令扩展/扩展拓扑，而无需使拓扑脱机。例如，假设您从一个由15台计算机组成的Storm集群开始，但是已经知道下周将再添加10个盒子。在这里，您可以选择在15个初始框（当然比25个框慢）上以25个机器的预期并行度运行拓扑。一旦集成了额外的10个盒子，您就可以storm rebalance利用拓扑结构充分利用所有25个盒子，而无需停机。每个执行程序要运行2个以上任务的另一个原因是用于（主要是功能）测试。例如，如果您的开发机或CI服务器仅具有足够的功能来运行，例如，有2个执行程序以及在该计算机上运行的所有其他程序，则您仍然可以运行30个任务（此处：每个执行程序15个）来查看是否您的自定义Storm分组按预期工作。实际上，我们通常为每个执行者运行1个任务。 PS：请注意，Storm实际上会在幕后产生更多线程。例如，每个执行程序都有自己的“发送线程”，负责处理传出的元组。还有“系统级”后台线程，例如用于确认与“您的”线程一起运行的元组。IIRC，Storm UI除了“您的”线程之外，还计算那些确认线程。

编辑

登录后才能参与评论