虽然我还没有使用它,但我认为 风暴 您可能会发现有用的东西:
Storm是一个分布式实时计算系统。类似于Hadoop如何提供一组用于进行批处理的通用基元,Storm提供了一组用于进行实时计算的通用基元。风暴很简单,可以与任何编程语言一起使用,并且使用起来很有趣!
Hadoop非常适合您的需求: Apache Hadoop
风暴 可能比Hadoop更适合您的需求,因为它没有分布式数据存储并且具有低延迟。分割和处理数据是可能的,类似于MapReduce 三叉戟 api使这很简单。
它部分用Clojure编写,所以我认为Clojure interop更容易。
另一种选择是 缟玛瑙 它提供类似的功能,但它是一个纯粹的基于Clojure的项目。